Kvíz spojený s průvodcem · Střední úroveň
Kvíz o směsi hloubek
Otestujte naučený směrovač tokenů od MoD, pevnou kapacitu top-k, zbytkovou cestu pro přeskočené tokeny, statické tvary a kauzální zabezpečení směrování.
Otázka 1 z 8
Čím se liší směs hloubek mezi tokeny?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Čím se liší směs hloubek mezi tokeny?
- Kolik výpočtů (které vrstvy) obdrží každý token
- Použitá slovní zásoba
- Tréninkový datový soubor
- Výstupní jazyk
- Jak ministerstvo obrany udržuje svůj výpočetní rozpočet předvídatelný?
- Náhodným upuštěním poloviny závaží modelu
- Zpracováním pevné horní části tokenů v každém bloku
- Použitím jiného modelu pro každou větu
- Úplným vypnutím pozornosti
- Co se stane s tokeny, které router v daném bloku NEVYBERE?
- Jsou vymazány ze sekvence
- Odesílají se do samostatného modelu
- Přeskočí blok přes zbytkové spojení a projdou beze změny
- Jsou převedeny na obrázky
- Which lab published the Mixture of Depths technique?
- OpenAI v roce 2019
- Meta v roce 2015
- Microsoft v roce 2012
- Google DeepMind v roce 2024
- Co vznikne spojením MO s Mixture-of-Experts?
- Režim, který směruje jak na hloubku, tak na expertní výběr
- Model bez parametrů
- Čistá konvoluční síť
- Systém pouze pro tokenizéry
- Proč je v MO preferováno pevné top-k před prahem na token?
- To dělá z modelu výstup náhodný text
- Udržuje tvary tenzoru statické, což je efektivní na hardwaru
- Odstraňuje potřebu tréninku
- Zvyšuje velikost slovní zásoby
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens