Maswali yanayounganishwa na mwongozo · Kati Kiwango

Maswali ya Upendeleo wa Nafasi ya ALiBi

Angalia jinsi ALiBi inaongeza upendeleo wa kuzingatia umbali na kuauni mifuatano mirefu ya marejeleo bila majedwali yaliyojifunza ya msimamo kamili.

Njia za mwongozo zinazohusianaUpendeleo wa Nafasi ya Alibi
Swali 1 ya 8

ALiBi inasimamia nini?

Hakiki kila swali8 maswali

Majibu na maelezo huonekana unapojibu maswali.

  1. ALiBi inasimamia nini?
    • Tahadhari na Upendeleo wa Linear
    • Upendeleo wa Linear unaobadilika
    • Usimbaji wa Mielekeo miwili Uliopangiliwa
    • Uorodheshaji wa Linear Kabisa
  2. ALiBi inaadhibu vipi tokeni za mbali?
    • Kwa kuondoa upachikaji zaidi ya dirisha lisilobadilika
    • Kwa kuongeza adhabu sawia na umbali kati ya hoja na nafasi muhimu
    • Kwa kujifunza upachikaji tofauti kwa kila nafasi
    • Kwa kuzungusha swala na vekta muhimu
  3. Je, ni faida gani ya vitendo inayoadhimishwa zaidi ya ALiBi?
    • Huondoa hitaji la softmax
    • Inafanya tahadhari kukimbia katika kumbukumbu ya mara kwa mara
    • Inaongeza vyema kwa mfuatano mrefu zaidi kuliko ule unaoonekana kwenye mafunzo
    • Huondoa hitaji la vichwa vingi vya umakini
  4. Ni nini tofauti kuhusu upendeleo wa mstari kwenye vichwa vya umakini?
    • Kila kichwa kinashiriki mteremko sawa
    • Miteremko hujifunza wakati wa mafunzo
    • Kichwa cha kwanza tu ndio kinapokea upendeleo
    • Kila kichwa hupata mteremko wake wa kudumu, na kutengeneza mlolongo wa kijiometri
  5. Ikilinganishwa na upachikaji wa nafasi za kitamaduni, ALiBi inaongeza vigezo vingapi vya kujifunza?
    • Hakuna - mteremko wa upendeleo umewekwa, haujajifunza
    • Moja kwa kila nafasi
    • Moja kwa ishara
    • Mbili kwa kichwa makini
  6. Ni modeli gani kubwa inayojulikana iliyotumia ALiBi kwa habari ya msimamo?
    • GPT-2
    • BLOOM
    • BERT
    • Neno2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position