Interpolare pozițională pentru test de context lung

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. Care este ideea de bază din spatele interpolării poziționale?
   • Strângerea de noi indici de poziție în intervalul pe care modelul a fost deja antrenat
   • Antrenează un model nou-nouț de la zero pentru fiecare lungime
   • Eliminarea completă a informațiilor de poziție
   • Sortarea jetoanelor după importanță
2. De ce eșuează extrapolarea naivă către poziții mai lungi?
   • Folosește prea puțină memorie
   • Poate ridica scorurile de atenție la valori extrem de mari, instabile
   • Returnează întotdeauna același simbol
   • Este nevoie de un alt tokenizer
3. Aproximativ câtă reglare fină a necesitat lucrarea PI originală pentru a extinde LLaMA la 32K?
   • Nicio reglare fină
   • Aproximativ 1 milion de pași
   • Aproximativ 1.000 de pași
   • O cursă completă de preantrenament
4. Dacă extindeți contextul cu un factor s, cum transformă PI o poziție m?
   • Mapează de la m la m ori s
   • Mapează m la m pătrat
   • Mă lasă neschimbat
   • Mapează m la m împărțit la s
5. Cum a influențat PI metodele ulterioare precum YaRN?
   • A devenit baza pe care metodele conștiente de frecvență s-au îmbunătățit
   • A fost abandonat și nu a fost niciodată citat
   • A înlocuit arhitectura Transformer
   • Se aplică doar modelelor de imagine
6. Ce codificare de poziție vizează în primul rând Interpolarea pozițională?
   • Codificări one-fierbinte
   • RoPE (înglobare de poziție rotativă)
   • Vectori Word2Vec
   • Punga de cuvinte contează
7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
   • 2
   • 8
   • 16
   • 32
8. With extension factor s = 16, where does PI map original position m = 16,000?
   • Position 16,000
   • Position 256,000
   • Position 32,000
   • Position 1,000