専門家混合クイズ

クイズに答えると、答えと解説が表示されます。

1. 専門家の混合レイヤーでは、どの専門家が特定のトークンを処理するかを決定するものは何でしょうか?
   • 専門家を採点する小型の学習型ルーター (ゲーティング ネットワーク)
   • トレーニング前に設定された固定ルックアップ テーブル
   • ユーザーのプロンプトの長さ
   • ステップごとにランダムな抽選
2. MoE モデルは、トークンあたりのコストの増加を伴わずに、高密度モデルよりもはるかに多くの合計パラメータを持つことができるのはなぜですか?
   • パラメータを単一の共有重みに圧縮します
   • 注意層を完全にスキップします
   • 各トークンに対して少数のエキスパート (上位から k 人) のみがアクティブ化されます
   • すべてのエキスパートを実行しますが、結果は平均化されます
3. MoE トレーニング中のロード バランシング (補助) 損失はどのような問題に対処しますか?
   • トークンがコンテキスト ウィンドウに対して長すぎます
   • ルーターは少数のエキスパートを使いすぎて、残りのエキスパートを枯渇させます
   • アテンションヘッドで消えるグラデーション
   • 検証セットへのオーバーフィッティング
4. Mixtral 8x7B は、トークンごとに 8 人のエキスパートのうち 2 人をアクティブにします。これは、そのコンピューティングとそのサイズについて何を意味するのでしょうか?
   • すべてのトークンに対して 8 人の専門家全員の計算を使用します。
   • 7B 密モデルよりも合計パラメータが少ない
   • GPUではまったく実行できません
   • トークンあたりのアクティブなコンピューティングは、パラメーターの総数が示唆するものよりもはるかに小さいです
5. Why can a sparse MoE still have substantial memory or storage requirements?
   • Every token necessarily activates all experts
   • Inactive experts cease to have parameters
   • Inactive expert weights still need accessible storage even when not selected for a token
   • The router removes all attention layers
6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
   • 5
   • 8
   • 2
   • 0.5
7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
   • The selected expert count must automatically become the total count
   • The model must stop using attention
   • Every inactive weight is automatically deleted
   • Router or communication overhead and the storage required for more experts
8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
   • It is certified to answer only one academic discipline
   • It is one of the networks selected by routing, without proving a named subject specialty
   • It must be a human-written collection of rules
   • It contains no learned parameters