Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Maswali ya Nafasi za Mamba na Jimbo Teule

Kagua vigezo vya SSM vinavyotegemea ingizo la Mamba, hali ya ukubwa usiobadilika, uchakataji wa mfuatano wa wakati, na uchanganuzi sambamba unaotambua maunzi.

Njia za mwongozo zinazohusianaMamba na Nafasi za Jimbo Teule
Swali 1 ya 8

Ni faida gani kuu ya hesabu ya Mamba juu ya Transfoma ya kawaida?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Ni faida gani kuu ya hesabu ya Mamba juu ya Transfoma ya kawaida?
    • Hupimwa kwa mstari na urefu wa mfuatano badala ya quadratically
    • Haihitaji data ya mafunzo
    • Inafanya kazi kwenye picha tu
    • Huondoa hitaji la hali yoyote iliyofichwa
  2. Neno 'mteule' linarejelea nini katika Mamba?
    • Inachagua GPU ya kutumia
    • Vigezo vyake vya SSM hutegemea ishara ya pembejeo, hivyo inaweza kuchagua nini cha kukumbuka au kusahau
    • Inachagua nomino na vitenzi pekee
    • Inachagua kikundi kidogo cha ishara cha kupuuza
  3. Je, mtindo wa anga za juu unawakilishaje historia ya mfuatano?
    • Kwa kuhifadhi kila tokeni iliyotangulia kwa uwazi
    • Kwa kuchora ramani ya umakini juu ya jozi zote
    • Kwa kubana historia katika hali iliyofichwa ya ukubwa usiobadilika iliyosasishwa hatua kwa hatua
    • Haihifadhi historia yoyote
  4. Kwa nini Mamba haiwezi kutumia njia ya mkato ya mkato ya haraka ambayo SSM ilitumia hapo awali?
    • Kwa sababu convolutions ni haramu kwenye GPUs
    • Kwa sababu haina vigezo
    • Kwa sababu inachakata ishara kwa mpangilio wa nasibu
    • Kwa sababu kutengeneza vigezo tegemezi vya pembejeo huvunja ubadilishanaji wa muda unaohitaji
  5. Je, Mamba anatumia mbinu gani kukaa haraka licha ya kupoteza njia ya mkato ya mapinduzi?
    • Uchanganuzi sambamba unaofahamu maunzi huhifadhiwa katika kumbukumbu ya haraka ya GPU
    • Inaendesha kabisa kwenye CPU
    • Inaakibisha jozi zote za tokeni
    • Kuruka zaidi ya mlolongo
  6. Nani alimtambulisha Mamba na takriban lini?
    • OpenAI mwaka wa 2018
    • Albert Gu na Tri Dao mwishoni mwa 2023
    • Google mwaka wa 2015
    • Hakuna mtu, ni dhahania
  7. Which Mamba state-space parameters are made functions of the current input?
    • Only the fixed transition matrix A
    • The output vocabulary and tokenizer
    • B, C, and the step size delta
    • The attention query and key heads
  8. What do the variable B, C, and delta parameters let Mamba do?
    • Build a growing key-value cache for every token
    • Route each token to an expert network only
    • Replace the state update with full all-pairs attention
    • Choose how much information to let into the state and how much to retain based on the input