Quiz collegato alla guida · Difficile Livello
Quiz sui metodi di rilevamento delle allucinazioni
Verifica il campionamento di autocoerenza, l'implicazione a livello di dichiarazione rispetto alle fonti, i segnali di incertezza come l'entropia semantica e la convalida dei modelli giudiziari.
Domanda 1 di 8
Quale osservazione è alla base dei metodi di autocoerenza come SelfCheckGPT?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale osservazione è alla base dei metodi di autocoerenza come SelfCheckGPT?
- Quando un modello conosce un fatto, i campioni ripetuti tendono a concordare, mentre i dettagli fabbricati tendono a variare
- I modelli danno sempre risposte identiche a domande ripetute
- Le risposte più lunghe sono sempre più accurate
- Impostando la temperatura su zero si eliminano tutte le allucinazioni
- Qual è una limitazione chiave del controllo di autocoerenza?
- Richiede un set di dati etichettato di grandi dimensioni prima dell'uso
- Funziona solo sugli output di immagini
- Manca gli errori che il modello ripete in modo coerente e costa chiamate di modello aggiuntive
- Non può essere eseguito senza i documenti di origine recuperati
- Cosa misurano effettivamente i controlli delle implicazioni basati sulla fonte?
- La data limite per l'addestramento del modello
- Fedeltà alle fonti fornite, che non equivale alla verità se le fonti sono errate
- La velocità con cui il modello risponde
- Qualità grammaticale e ortografica
- In che modo l'entropia semantica differisce dalla semplice incertezza a livello di token?
- Conta il numero di parole in ciascuna risposta
- Si basa solo su valutatori umani
- Evita di campionare risposte multiple
- Raggruppa le risposte campionate in base al significato prima di misurare l'incertezza
- Perché la guida consiglia di richiedere al verificatore di citare la campata di supporto?
- Rende l'output più breve
- Rende verificabile la verifica e una semplice corrispondenza di stringa conferma che la citazione appare nella fonte
- Rende il verificatore più creativo
- Riduce a zero i costi di verifica
- Quali controlli dovrebbero essere eseguiti per primi in una pipeline di rilevamento?
- Controlli deterministici economici, come la conferma dell'esistenza degli URL, degli ID o dei numeri dei casi citati
- Revisione umana completa di ogni risposta
- Messa a punto fine del modello sulle risposte segnalate
- Entropia semantica su ogni token
- Quale avvertenza si applica quando si usa un LLM come giudice?
- I giudici non possono leggere i documenti di origine
- I giudici lavorano solo in inglese
- I giudici hanno sempre ragione
- I giudici hanno i propri bias e tassi di errore, quindi dovrebbero essere confrontati con etichette umane
- Perché chiedere semplicemente a un modello "sei sicuro?" è un metodo di rilevamento inaffidabile?
- I modelli non possono leggere le domande di follow‑up
- È vietato ai sensi dei termini API
- I modelli possono abbandonare risposte corrette o difendere quelle sbagliate
- Raddoppia la dimensione della finestra di contesto