MoE サービングのエキスパート並列処理クイズ

クイズに答えると、答えと解説が表示されます。

1. エキスパート並列処理は GPU 全体に何を分散しますか?
   • 冗長性を確保するための完全なモデルのコピー
   • 個別の注意喚起のみ
   • MoE 層のさまざまなフィードフォワード専門家
   • 埋め込みテーブルのレイヤー
2. MoE 専門家の並列処理の中心となる通信パターンはどれですか?
   • 2 つの全対全交換 (ディスパッチと結合)
   • 単一のブロードキャスト
   • ポイントツーポイントのグラデーション同期
   • コミュニケーションは必要ありません
3. MoE は、パラメーターの合計が膨大であるにもかかわらず、トークンごとの計算を低く抑えているのはなぜですか?
   • 重みを 1 ビットに圧縮します
   • 注目層をスキップします
   • 専門家がすべての重みを共有する
   • 選択された上位 k 個のエキスパートのみがトークンごとに実行されます
4. ルーティングがデータに依存するため、どのような問題が発生しますか?
   • 勾配爆発
   • 一部の専門家がはるかに多くのトークンを取得する負荷の不均衡
   • ルーターはトレーニングできません
   • トークンは位置の埋め込みを失います
5. Why are capacity limits and padding used in some MoE implementations?
   • To control expert buffer sizes and make computation shapes more predictable
   • To require every expert to process every token
   • To eliminate all token routing
   • To guarantee that every MoE system drops tokens
6. システムはどのようにして全対全ステップのレイテンシーを隠しているのでしょうか?
   • 代わりに CPU で実行することにより
   • コンバインステップを削除することで
   • 学習率を上げることで
   • コミュニケーションと専門家の計算を重ねることで
7. A routed token chooses two MoE experts on different devices. What must expert-parallel execution do?
   • Run every expert in the model regardless of routing
   • Dispatch its representation to the selected experts and combine their outputs
   • Replace both expert networks with an attention head
   • Drop the token solely because it selected two devices
8. One MoE expert receives far more tokens than others. Why can the layer’s latency increase?
   • The total expert parameter count automatically doubles
   • The router’s outputs become attention positions
   • The overloaded expert becomes a straggler while other devices wait
   • All other experts are removed from memory