ガイド連動クイズ · ハード レベル

SwiGLU とゲート付きアクティベーションのクイズ

ゲート プロジェクション、SiLU ゲート、パラメータとコストのトレードオフ、および SwiGLU が標準 MLP を置き換えたときに隠れ幅が変化する理由をテストします。

関連するガイドパスSwiglu とゲート付きアクティベーション
質問 1 の 8

ゲートリニアユニットを定義するコア操作は何ですか?

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. ゲートリニアユニットを定義するコア操作は何ですか?
    • 1 つの投影とアクティブ化された 2 番目の投影の要素ごとの乗算
    • 2 つの線形投影を加算する
    • アテンションヘッドの連結
    • アクティベーションを標準で分割する
  2. SwiGLU はゲート分岐にどのアクティベーション関数を使用しますか?
    • ReLU
    • スウィッシュ (SiLU)
    • タン
    • ソフトマックス
  3. SwiGLU フィードフォワード ブロックは重み行列をいくつ使用しますか?
    • 1 つ
    • 2
    • 3
    • 4
  4. SwiGLU レイヤーでは隠れ次元が通常約 3 分の 2 にスケールされるのはなぜですか?
    • 数値精度を向上させるには
    • モデルをより深くするには
    • 正規化の必要性を取り除くには
    • 追加のマトリックスにもかかわらず、合計パラメータと FLOP を標準 MLP と同等に保つため
  5. ReLU と比較した Swish の特徴的な特性は次のとおりです。
    • 滑らかで単調ではないため、小さなネガも可能
    • 厳密に増加し、上限は 1
    • シグモイド関数と同じ
    • 正の入力に対してのみ定義されています
  6. 2020 年に変圧器フィードフォワード層に SwiGLU を普及させたのは誰ですか?
    • ジェフリー・ヒントン
    • ノーム・シェイザー
    • ヤン・ルカン
    • アンドレイ・カルパシー
  7. In the SwiGLU product Swish(xW) multiplied by xV, what happens when one gate value is near zero?
    • The entire Transformer layer is skipped
    • The output projection is replaced by a sigmoid
    • The matching value-branch dimension contributes little to the output
    • The value branch is permanently frozen
  8. Why can keeping a standard MLP’s hidden width unchanged increase SwiGLU cost?
    • The SiLU gate removes the output projection
    • SwiGLU computes a full Hessian
    • The value branch has no learned weights
    • SwiGLU uses an extra projection matrix, so the comparable-width design would have more parameters and FLOPs