Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Szakértők kvíz keveréke

Practice sparse MoE routing, expert load balance, and memory tradeoffs, including the difference between active per-token work and total stored parameters.

Kapcsolódó útmutató utakSzakértők keveréke
kérdés 1 -ból 8

A Szakértők keveréke rétegben mi dönti el, hogy mely szakértők dolgozzanak fel egy adott tokent?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. A Szakértők keveréke rétegben mi dönti el, hogy mely szakértők dolgozzanak fel egy adott tokent?
    • Egy kis tanult útválasztó (kapuhálózat), amely szakértőket értékel
    • Fix keresőtábla edzés előtt
    • A felhasználó kérésének hossza
    • Véletlenszerű sorsolás minden lépésnél
  2. Miért lehet egy MoE-modellnek sokkal több teljes paramétere, mint egy sűrű modellnek anélkül, hogy a tokenenkénti költség ennek megfelelően növekedne?
    • A paramétereket egyetlen megosztott súlyba tömöríti
    • Teljesen átugorja a figyelemrétegeket
    • Csak néhány szakértő (top-k) aktiválódik minden tokenhez
    • Minden szakértőt lefuttat, de átlagolja az eredményeket
  3. Milyen problémát old meg a terheléselosztási (kiegészítő) veszteség a KM képzés során?
    • A tokenek túl hosszúak a környezeti ablakhoz
    • A router túlságosan kihasznál néhány szakértőt, és kiéheztette a többit
    • Gradiensek eltűnnek a figyelemfejekben
    • Túlillesztés az érvényesítő készlethez
  4. A Mixtral 8x7B tokenenként 8 szakértőjéből kettőt aktivál. Mit jelent ez a számítási teljesítményére és a méretére vonatkozóan?
    • Mind a 8 szakértő számítását használja minden tokennél
    • Kevesebb teljes paraméterrel rendelkezik, mint egy 7B sűrű modellnek
    • GPU-n egyáltalán nem tud futni
    • A tokenenkénti aktív számítás sokkal kisebb, mint amennyit a teljes paraméterszám sugall
  5. Why can a sparse MoE still have substantial memory or storage requirements?
    • Every token necessarily activates all experts
    • Inactive experts cease to have parameters
    • Inactive expert weights still need accessible storage even when not selected for a token
    • The router removes all attention layers
  6. Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
    • 5
    • 8
    • 2
    • 0.5
  7. Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
    • The selected expert count must automatically become the total count
    • The model must stop using attention
    • Every inactive weight is automatically deleted
    • Router or communication overhead and the storage required for more experts
  8. A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
    • It is certified to answer only one academic discipline
    • It is one of the networks selected by routing, without proving a named subject specialty
    • It must be a human-written collection of rules
    • It contains no learned parameters