Il prossimoProssima guida
Date limite della conoscenza nei LLM
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
La maledizione dell'inversione è una modalità di fallimento sorprendente in cui un modello linguistico che apprende "A è B" non può rispondere in modo affidabile "B è A". Rivela che gli LLM memorizzano i fatti come associazioni unidirezionali, non come conoscenza simmetrica.
Ascolta questa guidaNarrato dall'IA · ~2 min
Documentata in un articolo del 2023 di Berglund e colleghi, la maledizione dell'inversione mostra che se un modello viene addestrato su "La madre di Tom Cruise è Mary Lee Pfeiffer", spesso fallisce quando gli viene chiesto "Chi è il figlio di Mary Lee Pfeiffer?" anche se la risposta è logicamente identica. L’effetto persiste su tutte le dimensioni del modello e anche dopo aver messo a punto centinaia di tali fatti. Non è un vuoto di memoria: la modella ha visto le informazioni, ma solo in un ordine. Poiché l’addestramento ottimizza la previsione del token successivo rispetto all’esatto ordine delle parole nei dati, il collegamento statistico da A a B non crea automaticamente un collegamento da B ad A. La scoperta ha messo in discussione le ipotesi secondo cui la scala da sola produce un ragionamento flessibile, simile a quello umano, sui fatti.
Un chatbot indica correttamente il genitore di una celebrità ma fallisce quando gli viene chiesto di nominare il figlio famoso di quel genitore.
Un modello recita "il nono presidente era William Henry Harrison" ma si imbatte in "quale numero di presidenti era William Henry Harrison".
Un assistente di codifica che ha appreso una mappatura da funzione a descrizione non può recuperare il nome della funzione solo dalla descrizione.
Un sistema di QA medico addestrato su "Il farmaco X tratta la condizione Y" non riesce a elencare il farmaco X quando gli viene chiesto cosa tratta la condizione Y.
Le mitigazioni allo studio includono l'aumento bidirezionale dei dati (aggiunta di frasi invertite), obiettivi di formazione che prevedono token in entrambe le direzioni e sistemi di recupero che cercano i fatti in modo simmetrico anziché fare affidamento su pesi memorizzati. Alcune architetture più recenti ed esperimenti di pre-addestramento inverso riducono il divario. Aspettatevi che la maledizione si riduca ma non svanisca, poiché mette in luce una profonda discrepanza tra l’apprendimento successivo e la struttura simmetrica delle relazioni nel mondo reale.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
La maledizione dell'inversione è una modalità di fallimento sorprendente in cui un modello linguistico che apprende "A è B" non può rispondere in modo affidabile "B è A". Rivela che gli LLM memorizzano i fatti come associazioni unidirezionali, non come conoscenza simmetrica.
The paper names this directional failure the reversal curse.
The paper reports that forward and reverse statements can behave differently.
The research tests failure on a reverse query after forward exposure.
The paper discusses sequence direction as relevant to the failure.
The finding challenges assumptions about flexible use of stored facts.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Date limite della conoscenza nei LLM
Intelligenza artificiale linguistica