Il prossimoProssima guida
Metodi di selezione delle caratteristiche
Tecnico
GUIDA TECNICA
Il rilevamento delle allucinazioni è l'insieme di tecniche per contrassegnare l'output del modello che è falso o non supportato da prove.
Ascolta questa guidaNarrato dall'IA · ~3 min
I metodi principali consistono nel campionare diverse risposte e verificare se concordano, testare se ciascuna affermazione è implicata nei documenti di origine, leggere segnali di incertezza come le probabilità simboliche e chiedere a un secondo modello di fungere da giudice. È importante perché il testo allucinato spesso viene letto in modo fluido e sicuro, quindi i sistemi di produzione necessitano di controlli automatizzati prima che gli errori raggiungano gli utenti.
Il rilevamento pone una domanda più ristretta rispetto al motivo per cui i modelli hanno allucinazioni: dato un output, ci si può fidare? I sistemi robusti solitamente combinano diversi dei metodi seguenti. I controlli di autoconsistenza si basano su una semplice osservazione. Quando un modello conosce un fatto, i campioni ripetuti tendono a concordare, mentre i dettagli fabbricati tendono a variare. SelfCheckGPT (Manakul et al., 2023) lo ha formalizzato. Genera diverse risposte e misura se ciascuna frase della risposta principale è supportata dalle altre. Il metodo non necessita di fonti esterne. Gli svantaggi sono le chiamate extra del modello e gli errori che manca quando un modello ripete ogni volta la stessa risposta sbagliata. I controlli basati sulla fonte confrontano l'output con il testo di riferimento, che si adatta ai sistemi potenziati dal recupero. La risposta è suddivisa in affermazioni atomiche e ciascuna affermazione viene testata per verificarne l'implicazione rispetto ai passaggi recuperati. Coinvolgimento significa che il passaggio supporta logicamente l'affermazione. Il test utilizza un modello di inferenza del linguaggio naturale o un LLM. Questi controlli misurano la fedeltà alle fonti, che non equivale alla verità se le fonti sono errate. I segnali di incertezza utilizzano le probabilità proprie del modello. Basse probabilità di token o elevata entropia su intervalli di chiavi come nomi, numeri e date possono indicare ipotesi. L'entropia semantica (Farquhar et al., pubblicata su Nature nel 2024) raggruppa le risposte campionate in base al significato prima di misurare l'incertezza, quindi formulazioni diverse della stessa risposta non vengono conteggiate come disaccordo. I segnali a livello di token necessitano dell'accesso alle probabilità di registro, che alcune API limitano. I modelli dei giudici chiedono a un LLM forte di valutare una risposta per affermazioni non supportate, di solito con le fonti e una rubrica allegata. Si adattano bene, ma i giudici hanno i propri pregiudizi e tassi di errore, quindi confrontali con le etichette umane. Un malinteso comune è quello di chiedere a una modella "sei sicuro?" rileva in modo affidabile gli errori. I modelli possono abbandonare le risposte corrette o difendere quelle sbagliate. I controlli strutturati sono più affidabili.
Uno strumento di ricerca giuridica estrae ogni citazione di caso da una bozza di risposta e verifica che ciascuna di esse esista in un database di giurisprudenza prima di mostrare la risposta.
Un bot di supporto che utilizza il recupero divide la sua risposta in singole affermazioni e le confronta con gli articoli della guida recuperati. Le affermazioni senza supporto vengono sostituite con una nota che non è stato possibile confermarle.
Un sistema pone la stessa domanda fattuale cinque volte con la casualità del campionamento attivata. Se le date di nascita restituite differiscono, la risposta viene contrassegnata come con bassa confidenza.
Ogni giorno, un modello di giudice valuta un campione di riassunti generati rispetto a una rubrica per dichiarazioni non supportate e una persona esamina tutto ciò che contrassegna.
Il rilevamento sta diventando un livello standard nei prodotti di intelligenza artificiale e le piattaforme di valutazione e i fornitori di servizi cloud ora offrono controlli di fondatezza e fedeltà. La ricerca continua sulla lettura dei segnali di incertezza provenienti dalle attivazioni interne di un modello e sui modelli di addestramento per astenersi o dichiarare una fiducia calibrata. Nessun metodo è completo. I controlli di messa a terra non possono correggere fonti errate e i segnali di incertezza non rilevano errori sicuri. La direzione più probabile è quella di difese a più livelli piuttosto che di un singolo rilevatore. Prima vengono i controlli deterministici a basso costo, poi la verifica fondata, con revisione umana per risultati ad alto rischio.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Il rilevamento delle allucinazioni è l'insieme di tecniche per contrassegnare l'output del modello che è falso o non supportato da prove. I metodi principali consistono nel campionare diverse risposte e verificare se concordano, testare se ciascuna affermazione è implicata nei documenti di origine, leggere segnali di incertezza come le probabilità simboliche e chiedere a un secondo modello di fungere da giudice. È importante perché il testo allucinato spesso viene letto in modo fluido e sicuro, quindi i sistemi di produzione necessitano di controlli automatizzati prima che gli errori raggiungano gli utenti.
L'accordo tra i campioni è un indicatore della conoscenza. I dettagli che cambiano da campione a campione suggeriscono che il modello sta indovinando.
Se un modello è sicuro e coerentemente sbagliato, i suoi campioni concordano e il controllo viene superato. Anche la generazione di diversi campioni aumenta i costi.
Questi controlli verificano se le affermazioni sono supportate dal testo di riferimento. Se il riferimento è sbagliato, una risposta fedele può comunque essere falsa.
Raggruppare per significato significa che formulazioni diverse della stessa risposta non vengono conteggiate come disaccordo. Solo le risposte veramente diverse aumentano il punteggio di incertezza.
Una citazione richiesta può essere controllata meccanicamente rispetto alla fonte, che individua i verificatori che inventano la loro giustificazione.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Metodi di selezione delle caratteristiche
Tecnico