Il prossimoProssima guida
Lezioni di alfabetizzazione AI per la scuola media
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
L'effetto "perso nel mezzo" è la tendenza dei modelli linguistici a utilizzare al meglio le informazioni quando appaiono all'inizio o alla fine di un lungo input, trascurando i fatti sepolti nel mezzo.
Ascolta questa guidaNarrato dall'IA · ~2 min
È importante perché limita la misura in cui possiamo fidarci dei modelli a lungo contesto con i documenti recuperati.
Identificato in uno studio del 2023 da Liu e colleghi di Stanford, l’effetto è apparso quando ai modelli sono stati forniti molti documenti e è stato chiesto di rispondere utilizzandone uno che contenesse il fatto chiave. La precisione formava una curva a forma di U: massima quando il passaggio rilevante si trovava all'inizio o alla fine del prompt e notevolmente inferiore quando si trovava al centro. Ciò valeva anche per i modelli commercializzati come compatibili con contesti lunghi. L'implicazione è forte per la generazione aumentata con recupero: inserire dozzine di passaggi in un prompt non garantisce che il modello li legga in modo uniforme. La posizione, non solo la presenza, determina se un modello presta attenzione a un fatto. Il lavoro ha riformulato il contesto lungo come una questione di utilizzo efficace, non di dimensione grezza della finestra.
Un sistema RAG recupera 20 documenti ma non trova la risposta perché è arrivato al passaggio 10 di 20.
Gli ingegneri riclassificano i risultati della ricerca per inserire la parte più pertinente per prima o per ultima nel prompt.
Un riepilogo di documenti lunghi sottopondera i dettagli chiave che appaiono a metà di un contratto.
Un benchmark "ago in un pagliaio" nasconde un fatto a varia profondità per tracciare la precisione posizionale di un modello.
I ricercatori stanno affrontando l'effetto con modifiche dell'attenzione, formazione in base alla posizione e recupero più intelligente che riclassifica i passaggi più rilevanti ai margini del prompt. Le suite di valutazione ora includono test "dell'ago in un pagliaio" per tutte le posizioni per misurare il contesto effettivo. Man mano che le architetture migliorano, la curva a U si sta appiattindo, ma i professionisti continueranno a progettare pipeline che inseriscano prove critiche laddove i modelli effettivamente appaiono, piuttosto che fidarsi di un’attenzione uniforme.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
L'effetto "perso nel mezzo" è la tendenza dei modelli linguistici a utilizzare al meglio le informazioni quando appaiono all'inizio o alla fine di un lungo input, trascurando i fatti sepolti nel mezzo. È importante perché limita la misura in cui possiamo fidarci dei modelli a lungo contesto con i documenti recuperati.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Lezioni di alfabetizzazione AI per la scuola media
Intelligenza artificiale linguistica