Maswali yanayounganishwa na mwongozo · Kati Kiwango

Mchanganyiko wa Maswali ya Kina

Jaribio la kipanga njia cha tokeni cha MoD, uwezo wa juu-k usiobadilika, njia iliyobaki ya tokeni zilizorukwa, maumbo tuli, na ulinzi wa uelekezaji.

Njia za mwongozo zinazohusianaMchanganyiko Wa Kina
Swali 1 ya 8

Je, Mchanganyiko wa Kina hutofautiana katika tokeni?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, Mchanganyiko wa Kina hutofautiana katika tokeni?
    • Ni kiasi gani cha hesabu (tabaka gani) kila ishara inapokea
    • Msamiati uliotumika
    • Seti ya data ya mafunzo
    • Lugha ya pato
  2. Je, MoD huwekaje bajeti yake ya kukokotoa kutabirika?
    • Kwa kuacha kwa nasibu nusu ya uzani wa mfano
    • Kwa kuchakata sehemu isiyobadilika ya top-k ya tokeni kwenye kila kizuizi
    • Kwa kutumia kielelezo tofauti kwa kila sentensi
    • Kwa kuzima umakini kabisa
  3. Ni nini hufanyika kwa ishara ambazo kipanga njia hakichagui kwenye kizuizi fulani?
    • Wanafutwa kutoka kwa mlolongo
    • Wanatumwa kwa mfano tofauti
    • Wanaruka kizuizi kupitia unganisho la mabaki, kupita bila kubadilika
    • Wanabadilishwa kuwa picha
  4. Ni maabara gani iliyochapisha mbinu ya Mchanganyiko wa Kina?
    • OpenAI mwaka wa 2019
    • Meta mwaka wa 2015
    • Microsoft mwaka wa 2012
    • Google DeepMind mnamo 2024
  5. Je, kuchanganya MoD na Mchanganyiko-wa-Wataalam hutoa nini?
    • MoDE, ambayo hupitia kwa kina na chaguo la mtaalam
    • Mfano usio na vigezo
    • Mtandao safi wa mapinduzi
    • Mfumo wa tokenizer pekee
  6. Kwa nini top-k iliyowekwa inapendekezwa zaidi ya kizingiti cha kila tokeni katika MoD?
    • Inafanya muundo wa maandishi kuwa nasibu
    • Huweka maumbo ya tensor tuli, ambayo yanafaa kwenye maunzi
    • Inaondoa hitaji la mafunzo
    • Huongeza ukubwa wa msamiati
  7. What does the learned router do at a Mixture-of-Depths block?
    • Selects a new model family for every prompt
    • Predicts labels for the next training batch
    • Scores tokens so the block can select which ones receive full attention and MLP computation
    • Changes the vocabulary size at inference
  8. Why does causal generation in MoD use auxiliary predictors for routing?
    • To let a model read the entire answer before generating
    • To remove the fixed top-k compute budget
    • To convert the sequence into an image
    • To make routing decisions without looking at future tokens