Test de modelare în context lung

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

1. La ce se referă „fereastra de context” a unui model?
   • Numărul maxim de jetoane la care poate participa într-o singură trecere
   • Dimensiunea ecranului interfeței de chat
   • Numărul de utilizatori permis simultan
   • Cât timp a fost antrenat modelul
2. De ce autoatenția standard devine costisitoare pentru intrări lungi?
   • Crește liniar și este întotdeauna ieftin
   • Calcularea și memoria sa cresc pătratic cu lungimea secvenței
   • Nu poate citi mai mult de un simbol
   • Funcționează doar pe imagini
3. Care este problema „lost in the middle”?
   • Modelele uită cu totul de antrenament
   • Modelele pot citi doar mijlocul unui document
   • Modelele își amintesc informații la începutul și la sfârșitul unei intrări lungi mai bine decât faptele îngropate la mijloc
   • Modelele traduc mijlocul într-o altă limbă
4. Ce îmbunătățește în primul rând FlashAttention?
   • Face ca modelul să scoată text mai lung
   • Adaugă automat mai multe date de antrenament
   • Îndepărtează necesitatea oricărei atenții
   • Reduce blocajul memoriei printr-un calcul bazat pe IO-uri
5. Ce rol joacă încorporațiile de poziție rotativă (RoPE) în modelele cu context lung?
   • Ele codifică pozițiile jetonelor și, cu interpolare, ajută la generalizarea la secvențe mai lungi
   • Ei șterg jetoanele din intrare
   • Ei traduc text între limbi
   • Acestea stochează greutățile modelului
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • Doar clasificarea imaginilor
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input