Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Szakértők kvíz keveréke
Practice sparse MoE routing, expert load balance, and memory tradeoffs, including the difference between active per-token work and total stored parameters.
kérdés 1 -ból 8
A Szakértők keveréke rétegben mi dönti el, hogy mely szakértők dolgozzanak fel egy adott tokent?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- A Szakértők keveréke rétegben mi dönti el, hogy mely szakértők dolgozzanak fel egy adott tokent?
- Egy kis tanult útválasztó (kapuhálózat), amely szakértőket értékel
- Fix keresőtábla edzés előtt
- A felhasználó kérésének hossza
- Véletlenszerű sorsolás minden lépésnél
- Miért lehet egy MoE-modellnek sokkal több teljes paramétere, mint egy sűrű modellnek anélkül, hogy a tokenenkénti költség ennek megfelelően növekedne?
- A paramétereket egyetlen megosztott súlyba tömöríti
- Teljesen átugorja a figyelemrétegeket
- Csak néhány szakértő (top-k) aktiválódik minden tokenhez
- Minden szakértőt lefuttat, de átlagolja az eredményeket
- Milyen problémát old meg a terheléselosztási (kiegészítő) veszteség a KM képzés során?
- A tokenek túl hosszúak a környezeti ablakhoz
- A router túlságosan kihasznál néhány szakértőt, és kiéheztette a többit
- Gradiensek eltűnnek a figyelemfejekben
- Túlillesztés az érvényesítő készlethez
- A Mixtral 8x7B tokenenként 8 szakértőjéből kettőt aktivál. Mit jelent ez a számítási teljesítményére és a méretére vonatkozóan?
- Mind a 8 szakértő számítását használja minden tokennél
- Kevesebb teljes paraméterrel rendelkezik, mint egy 7B sűrű modellnek
- GPU-n egyáltalán nem tud futni
- A tokenenkénti aktív számítás sokkal kisebb, mint amennyit a teljes paraméterszám sugall
- Why can a sparse MoE still have substantial memory or storage requirements?
- Every token necessarily activates all experts
- Inactive experts cease to have parameters
- Inactive expert weights still need accessible storage even when not selected for a token
- The router removes all attention layers
- Two selected MoE expert outputs are 2 and 6, with combination weights 0.25 and 0.75. What is their weighted output?
- 5
- 8
- 2
- 0.5
- Increasing an MoE’s expert count keeps the same top-k and expert size. What can still increase serving cost?
- The selected expert count must automatically become the total count
- The model must stop using attention
- Every inactive weight is automatically deleted
- Router or communication overhead and the storage required for more experts
- A sparse MoE calls a learned feed-forward subnetwork an expert. What does that name establish?
- It is certified to answer only one academic discipline
- It is one of the networks selected by routing, without proving a named subject specialty
- It must be a human-written collection of rules
- It contains no learned parameters