ガイド連動クイズ · 中 レベル
深さの混合クイズ
MoD の学習済みトークン ルーター、固定トップ K キャパシティ、スキップされたトークンの残留パス、静的形状、および因果的ルーティング保護機能をテストします。
質問 1 の 8
深さの混合はトークンによってどのように異なりますか?
すべての質問をプレビューする8 質問
クイズに答えると、答えと解説が表示されます。
- 深さの混合はトークンによってどのように異なりますか?
- 各トークンが受け取るコンピューティング量 (どのレイヤー)
- 使用した語彙
- トレーニング データセット
- 出力言語
- MoD はどのようにしてコンピューティング予算を予測可能に保っているのでしょうか?
- モデルの重みの半分をランダムに削除することによって
- 各ブロックでトークンの固定上位 k 部分を処理することによって
- 文ごとに異なるモデルを使用することで
- 注意力を完全に無効にすることで
- ルーターが特定のブロックで選択しなかったトークンはどうなりますか?
- シーケンスから削除されます
- 別のモデルに送信されます
- 残りの接続を介してブロックをスキップし、変更されていないものを通過します。
- 画像に変換されます
- Mixture of Depths テクニックを公開した研究室はどこですか?
- OpenAI (2019 年)
- Meta (2015 年)
- Microsoft (2012 年)
- Google 2024 年の DeepMind
- MoD と専門家の混合を組み合わせると何が得られるでしょうか?
- MoDE、深さと専門家の選択の両方に基づいてルートを決定します
- パラメータのないモデル
- 純粋な畳み込みネットワーク
- トークナイザー専用システム
- MoD ではなぜ固定の上位 k がトークンごとのしきい値よりも優先されるのですか?
- モデルにランダムなテキストを出力させます
- テンソル形状を静的に保つため、ハードウェア上で効率的です。
- トレーニングの必要がなくなります
- 語彙の量が増える
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens