Kvíz spojený s průvodcem · Střední úroveň

Kvíz o směsi hloubek

Otestujte naučený směrovač tokenů od MoD, pevnou kapacitu top-k, zbytkovou cestu pro přeskočené tokeny, statické tvary a kauzální zabezpečení směrování.

Související vodicí cestySměs Hlubin
Otázka 1 z 8

Čím se liší směs hloubek mezi tokeny?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Čím se liší směs hloubek mezi tokeny?
    • Kolik výpočtů (které vrstvy) obdrží každý token
    • Použitá slovní zásoba
    • Tréninkový datový soubor
    • Výstupní jazyk
  2. Jak ministerstvo obrany udržuje svůj výpočetní rozpočet předvídatelný?
    • Náhodným upuštěním poloviny závaží modelu
    • Zpracováním pevné horní části tokenů v každém bloku
    • Použitím jiného modelu pro každou větu
    • Úplným vypnutím pozornosti
  3. Co se stane s tokeny, které router v daném bloku NEVYBERE?
    • Jsou vymazány ze sekvence
    • Odesílají se do samostatného modelu
    • Přeskočí blok přes zbytkové spojení a projdou beze změny
    • Jsou převedeny na obrázky
  4. Which lab published the Mixture of Depths technique?
    • OpenAI v roce 2019
    • Meta v roce 2015
    • Microsoft v roce 2012
    • Google DeepMind v roce 2024
  5. Co vznikne spojením MO s Mixture-of-Experts?
    • Režim, který směruje jak na hloubku, tak na expertní výběr
    • Model bez parametrů
    • Čistá konvoluční síť
    • Systém pouze pro tokenizéry
  6. Proč je v MO preferováno pevné top-k před prahem na token?
    • To dělá z modelu výstup náhodný text
    • Udržuje tvary tenzoru statické, což je efektivní na hardwaru
    • Odstraňuje potřebu tréninku
    • Zvyšuje velikost slovní zásoby
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens