ガイド連動クイズ · ハード レベル

RMSNorm と前層正規化のクイズ

これらの独立した設計の選択を混乱させることなく、RMSNorm 統計、Pre-LN 配置、残差パス、およびクエリキーの正規化をチェックします。

関連するガイドパスRmsnorm とプレレイヤーの正規化
質問 1 の 8

標準の LayerNorm と比較して、RMSNorm では何が省略されますか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. 標準の LayerNorm と比較して、RMSNorm では何が省略されますか?
    • 平均減算（再センタリング）
    • 学習したスケールパラメータ
    • 残りの接続
    • ソフトマックス演算
  2. RMSNorm は各活性化ベクトルをどの量で分割しますか?
    • その差異
    • 二乗平均平方根
    • その絶対値の最大値
    • L1 ノルム
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. Pre-LN ブロックでは、正規化層が意図的に手つかずのままにしているパスは何ですか?
    • フィードフォワードの重み
    • トークンの埋め込み
    • 出力ソフトマックス
    • 残りの (アイデンティティ) 接続
  5. デフォルトで RMSNorm を使用する最新のオープンウェイト モデル ファミリはどれですか?
    • LLaMA、ミストラル、クウェン
    • AlexNet と VGG
    • ResNet とインセプション
    • BERTベースとオリジナルのTransformer
  6. RMSNorm の最近の応用である「QK-norm」とは何ですか?
    • 最終出力ログの正規化
    • RMSNorm をアテンション クエリとキーに適用してロジットの増大を制御する
    • キー/値キャッシュの量子化
    • 正規化を完全にスキップする方法
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block