Útmutatóhoz kapcsolódó kvíz · Közepes Szint
Hosszú kontextusú modellező kvíz
Review context windows, attention costs, position-sensitive retrieval, FlashAttention and evaluations of effective context use.
kérdés 1 -ból 8
Mire utal egy modell „kontextusablakja”?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Mire utal egy modell „kontextusablakja”?
- A tokenek maximális száma egy menetben
- A chat felület képernyőmérete
- Az egyszerre engedélyezett felhasználók száma
- Mennyi ideig képezték a modellt
- Miért lesz drága a szokásos önfigyelés a hosszú bemeneteknél?
- Lineárisan növekszik, és mindig olcsó
- Számítása és memóriája négyzetesen növekszik a sorozat hosszával
- Nem olvashat egynél több tokent
- Csak képeken működik
- Mi az „elveszett a közepén” probléma?
- A modellek teljesen elfelejtik az edzést
- A modellek csak a dokumentum közepét tudják olvasni
- A modellek jobban felidézik a hosszú bemenet elején és végén lévő információkat, mint a közepén eltemetett tényeket
- A modellek lefordítják a közepét egy másik nyelvre
- Mit javít elsősorban a FlashAttention?
- Ez hosszabb szöveget eredményez a modellben
- Automatikusan további edzésadatokat ad hozzá
- Megszünteti a figyelem szükségességét
- Csökkenti a memória szűk keresztmetszetét egy IO-tudatos, csempézett számítással
- Milyen szerepet töltenek be a rotációs pozíciós beágyazások (RoPE) a hosszú kontextusú modellekben?
- Kódolják a token pozíciókat, és interpolációval segítik az általánosítást hosszabb sorozatokra
- Törölnek tokeneket a bemenetről
- Lefordítják a szöveget a nyelvek között
- Ők tárolják a modell súlyait
- What does prompt-cache research reuse across compatible requests?
- The final answer regardless of the new query
- Computed attention state for reusable prompt segments
- A fixed set of token IDs without model computation
- The model’s training data
- What does the RULER benchmark add beyond locating one isolated “needle” fact?
- Csak képbesorolás
- Audio transcription from waveforms
- Tasks such as multi-hop tracing and aggregation over long contexts
- GPU memory allocation benchmarks
- Why test several task types when measuring a model’s effective context length?
- Every task uses the same computation
- The advertised window guarantees all tasks work
- Task type never affects context use
- A model may handle simple retrieval yet fail to combine or track information across a long input