Maswali yanayounganishwa na mwongozo · Ngumu Kiwango

Miundo ya Nafasi za Jimbo na Maswali ya Mamba

Jaribu uchangamano wa mfuatano wa anga za juu, uteuzi wa Mamba, uchanganuzi unaotambua maunzi, hali ya uelekezaji unaorudiwa, na miundo mseto.

Njia za mwongozo zinazohusianaState Space Models Na Mamba
Swali 1 ya 8

Je, muundo wa anga za juu hupima vipi kwa urefu wa mfuatano, ikilinganishwa na umakini wa kawaida wa kibinafsi?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. Je, muundo wa anga za juu hupima vipi kwa urefu wa mfuatano, ikilinganishwa na umakini wa kawaida wa kibinafsi?
    • Kimsingi, dhidi ya uongezaji wa pembe nne wa umakini
    • Mara kwa mara, dhidi ya uwekaji mstari wa umakini
    • Zote mbili hupima sawasawa
    • Exponentially kwa wote wawili
  2. Je, ni uvumbuzi gani mkuu ambao Mamba iliongeza kwa SSM zilizoundwa hapo awali kama S4?
    • Kutumia umakini wa softmax ndani
    • Kufanya vigezo vya usasishaji wa hali hutegemea ingizo (uteuzi)
    • Kuondoa hali iliyofichwa kabisa
    • Inabadilisha hadi hesabu ya muda wa quadratic
  3. Kwa nini Mamba ilihitaji uchanganuzi sambamba wa kufahamu maunzi maalum?
    • Kwa sababu GPU haziwezi kufanya kuzidisha matrix
    • Ili kupunguza idadi ya tabaka
    • Kwa sababu kufanya vigezo tegemezi vya pembejeo huvunja hila rahisi ya ubadilishaji
    • Kwa sababu haitumii vigezo vilivyojifunza
  4. Wakati wa uelekezaji, faida muhimu ya ufanisi wa SSM kama Mamba ni kwamba hutumia:
    • Kumbukumbu ambayo hukua na urefu kamili wa mfuatano, kama kache ya KV
    • Hakuna kumbukumbu hata kidogo
    • Kumbukumbu zaidi ya Transformer ya ukubwa sawa
    • Takriban kumbukumbu ya mara kwa mara kwa tokeni inayozalishwa
  5. Katika SSM zenye muundo wa kawaida (kabla ya kuchagua), marudio yanaweza kukokotwa kwa ufanisi kwa sababu yanaweza kuandikwa upya kama:
    • Convolution ndefu
    • Operesheni ya Softmax
    • Mti wa uamuzi
    • Msitu wa nasibu
  6. Je, karatasi ya Mamba ilitumia aina gani ya uundaji wa lugha katika majaribio yake ya kawaida ya kuongeza kiwango kiotomatiki?
    • ImageNet-1K
    • Rundo
    • LibriSpeech only
    • D4RL
  7. Katika block ya Mamba, ni operesheni gani inachanganya pato la kuchagua-SSM na tawi lingine lililokadiriwa?
    • A nearest-neighbor lookup over audio frames
    • A cross-attention layer over image patches
    • An elementwise multiplicative interaction with a gated branch
    • A graph-degree normalization step
  8. What language-modeling result does the Mamba paper report for its 3B model?
    • It requires a Transformer cache twice as large
    • It replaces the training corpus with audio only
    • It can be trained without any data
    • It matches Transformers twice its size in pretraining and downstream evaluation