Maswali yanayounganishwa na mwongozo · Kati Kiwango
Ufafanuzi wa Nafasi kwa Maswali Marefu ya Muktadha
Hukagua jinsi ukalimani wa nafasi unavyopunguza nafasi za RoPE, kwa nini utaftaji wa ziada unaweza kudhoofisha usikivu na chanzo chake kilitathmini nini.
Swali 1 ya 8
Ni nini wazo kuu nyuma ya Ufafanuzi wa Nafasi?
Hakiki kila swali8 maswali
Majibu na maelezo huonekana unapojibu maswali.
- Ni nini wazo kuu nyuma ya Ufafanuzi wa Nafasi?
- Kuminya fahirisi za nafasi mpya kwenye safu ambayo muundo ulikuwa tayari umefunzwa
- Kufundisha muundo mpya kabisa kutoka mwanzo kwa kila urefu
- Kuondoa habari ya msimamo kabisa
- Kupanga tokeni kwa umuhimu
- Kwa nini uboreshaji wa ujinga kwa nafasi ndefu hushindwa?
- Inatumia kumbukumbu ndogo sana
- Inaweza kulipua alama za umakini kwa maadili makubwa sana, yasiyo thabiti
- Daima inarudi ishara sawa
- Inahitaji tokenizer tofauti
- Takriban ni urekebishaji mzuri kiasi gani kazi ya awali ya PI ilihitaji kupanua LLaMA hadi 32K?
- Hakuna urekebishaji mzuri hata kidogo
- Takriban hatua milioni 1
- Takriban hatua 1,000
- Mbio kamili ya maandalizi
- Ikiwa unapanua muktadha kwa sababu s, PI inabadilishaje nafasi m?
- Inaweka ramani ya m hadi m mara s
- Inaonyesha m hadi m ya mraba
- Inaacha m bila kubadilika
- Inaonyesha m hadi m ikigawanywa na s
- PI iliathiri vipi njia za baadaye kama YaRN?
- Ikawa msingi kwamba mbinu za kufahamu mara kwa mara ziliboreshwa
- Iliachwa na haijawahi kutajwa
- Ilibadilisha usanifu wa Transformer
- Inatumika tu kwa mifano ya picha
- Ufafanuzi wa Positional unalenga usimbaji wa nafasi gani?
- Usimbaji wa moja-moto
- Kamba (Upachikaji wa Nafasi ya Rotary)
- Vekta za Word2Vec
- Hesabu za mfuko wa maneno
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000