Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Mélységek keveréke kvíz
Test MoD’s learned token router, fixed top-k capacity, residual path for skipped tokens, static shapes, and causal routing safeguards.
kérdés 1 -ból 8
Miben változik a mélységek keveréke a tokenek között?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miben változik a mélységek keveréke a tokenek között?
- Mennyi számítást (mely rétegeket) kap az egyes token
- A használt szókincs
- A képzési adatkészlet
- A kimeneti nyelv
- Hogyan tartja a Minisztérium kiszámítható költségvetését?
- Véletlenszerűen ledobva a modell súlyának felét
- A tokenek rögzített felső-k töredékének feldolgozásával minden blokkban
- Minden mondathoz más-más modellt használva
- A figyelem teljes kikapcsolásával
- Mi történik azokkal a tokenekkel, amelyeket a router NEM választ ki egy adott blokkon?
- Törlődnek a sorozatból
- Külön modellre küldik őket
- Kihagyják a blokkot a maradék csatlakozáson keresztül, változatlanul áthaladva
- Képpé konvertálják őket
- Melyik laboratórium adta ki a Mixture of Depths technikát?
- OpenAI 2019-ben
- Meta 2015-ben
- Microsoft 2012-ben
- Google DeepMind 2024-ben
- Mit eredményez a MoD és a Mixture of-Expert kombinálása?
- MÓD, amely mélységben és szakértői választásban egyaránt vezet
- Paraméterek nélküli modell
- Tiszta konvolúciós hálózat
- Csak tokenizátoros rendszer
- Miért részesítik előnyben a rögzített top-k-t a tokenenkénti küszöbnél a MoD-ben?
- Véletlenszerű szöveget ad ki a modellből
- Statikusan tartja a tenzor alakzatokat, ami hardveren hatékony
- Megszünteti az edzés szükségességét
- Növeli a szókincs méretét
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens