Il prossimoProssima guida
Contesto lungo vs RAG
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Long-context modeling studies how Transformer-based language models process larger input sequences.
Ascolta questa guidaNarrato dall'IA · ~2 min
A model’s advertised context window is a token limit, while effective use depends on attention computation, position handling and retrieval performance across the input.
The Transformer’s standard self-attention computes interactions across token positions, and its attention computation grows quadratically with sequence length. FlashAttention is an exact, IO-aware attention algorithm that uses tiling to reduce reads and writes between GPU memory levels; it does not remove the underlying attention relationships. Rotary position embeddings (RoPE) encode token positions. Position Interpolation is a paper-specific method that rescales positions to extend context in RoPE-based pretrained models and is evaluated on tasks such as retrieval and long-document summarization. The Lost in the Middle study finds position-sensitive performance on long-context QA and retrieval tasks. RULER extends simple needle retrieval with multi-hop tracing and aggregation. Prompt Cache studies reusing attention state for reusable prompt segments. These are distinct methods with different assumptions; longer context limits do not ensure reliable use of all supplied information.
Testing document question answering with relevant passages moved to different positions in the context.
Evaluating long-context models on multi-hop tracing and aggregation tasks, not only a single fact-retrieval prompt.
Applying IO-aware attention kernels to reduce attention-memory traffic.
Reusing attention state for repeated prompt segments where the serving method supports it.
Effective context should be measured with task-specific tests across positions and sequence lengths. The Lost in the Middle and RULER studies show why a stated context window alone is insufficient evidence of retrieval or reasoning quality. Report model, task, length, latency and cost when comparing context methods.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Long-context modeling studies how Transformer-based language models process larger input sequences. A model’s advertised context window is a token limit, while effective use depends on attention computation, position handling and retrieval performance across the input.
La finestra di contesto è il budget del token che il modello può leggere e su cui ragionare simultaneamente in un unico passaggio in avanti.
L’attenzione al sé confronta ogni token con ogni altro token, quindi il costo scala come O (n al quadrato) nella lunghezza della sequenza n.
Gli studi mostrano che l'accuratezza del recupero diminuisce per i contenuti inseriti nel mezzo di un contesto lungo, quindi la lunghezza da sola non garantisce il ricordo.
FlashAttention calcola l'attenzione in riquadri senza materializzare l'intera matrice di attenzione in memoria, riducendo il costo della memoria di lunghe sequenze.
RoPE encodes position. Position Interpolation is one specific method that rescales positions to extend tested RoPE-based models; the result is model- and task-dependent.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Contesto lungo vs RAG
Intelligenza artificiale linguistica