Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Mélységek keveréke kvíz

Test MoD’s learned token router, fixed top-k capacity, residual path for skipped tokens, static shapes, and causal routing safeguards.

Kapcsolódó útmutató utakMélységek keveréke
kérdés 1 -ból 8

Miben változik a mélységek keveréke a tokenek között?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miben változik a mélységek keveréke a tokenek között?
    • Mennyi számítást (mely rétegeket) kap az egyes token
    • A használt szókincs
    • A képzési adatkészlet
    • A kimeneti nyelv
  2. Hogyan tartja a Minisztérium kiszámítható költségvetését?
    • Véletlenszerűen ledobva a modell súlyának felét
    • A tokenek rögzített felső-k töredékének feldolgozásával minden blokkban
    • Minden mondathoz más-más modellt használva
    • A figyelem teljes kikapcsolásával
  3. Mi történik azokkal a tokenekkel, amelyeket a router NEM választ ki egy adott blokkon?
    • Törlődnek a sorozatból
    • Külön modellre küldik őket
    • Kihagyják a blokkot a maradék csatlakozáson keresztül, változatlanul áthaladva
    • Képpé konvertálják őket
  4. Melyik laboratórium adta ki a Mixture of Depths technikát?
    • OpenAI 2019-ben
    • Meta 2015-ben
    • Microsoft 2012-ben
    • Google DeepMind 2024-ben
  5. Mit eredményez a MoD és a Mixture of-Expert kombinálása?
    • MÓD, amely mélységben és szakértői választásban egyaránt vezet
    • Paraméterek nélküli modell
    • Tiszta konvolúciós hálózat
    • Csak tokenizátoros rendszer
  6. Miért részesítik előnyben a rögzített top-k-t a tokenenkénti küszöbnél a MoD-ben?
    • Véletlenszerű szöveget ad ki a modellből
    • Statikusan tartja a tenzor alakzatokat, ami hardveren hatékony
    • Megszünteti az edzés szükségességét
    • Növeli a szókincs méretét
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens