Quiz collegato alla guida · Difficile Livello

Quiz sui metodi di rilevamento delle allucinazioni

Verifica il campionamento di autocoerenza, l'implicazione a livello di dichiarazione rispetto alle fonti, i segnali di incertezza come l'entropia semantica e la convalida dei modelli giudiziari.

Domanda 1 di 8

Quale osservazione è alla base dei metodi di autocoerenza come SelfCheckGPT?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale osservazione è alla base dei metodi di autocoerenza come SelfCheckGPT?
    • Quando un modello conosce un fatto, i campioni ripetuti tendono a concordare, mentre i dettagli fabbricati tendono a variare
    • I modelli danno sempre risposte identiche a domande ripetute
    • Le risposte più lunghe sono sempre più accurate
    • Impostando la temperatura su zero si eliminano tutte le allucinazioni
  2. Qual è una limitazione chiave del controllo di autocoerenza?
    • Richiede un set di dati etichettato di grandi dimensioni prima dell'uso
    • Funziona solo sugli output di immagini
    • Manca gli errori che il modello ripete in modo coerente e costa chiamate di modello aggiuntive
    • Non può essere eseguito senza i documenti di origine recuperati
  3. Cosa misurano effettivamente i controlli delle implicazioni basati sulla fonte?
    • La data limite per l'addestramento del modello
    • Fedeltà alle fonti fornite, che non equivale alla verità se le fonti sono errate
    • La velocità con cui il modello risponde
    • Qualità grammaticale e ortografica
  4. In che modo l'entropia semantica differisce dalla semplice incertezza a livello di token?
    • Conta il numero di parole in ciascuna risposta
    • Si basa solo su valutatori umani
    • Evita di campionare risposte multiple
    • Raggruppa le risposte campionate in base al significato prima di misurare l'incertezza
  5. Perché la guida consiglia di richiedere al verificatore di citare la campata di supporto?
    • Rende l'output più breve
    • Rende verificabile la verifica e una semplice corrispondenza di stringa conferma che la citazione appare nella fonte
    • Rende il verificatore più creativo
    • Riduce a zero i costi di verifica
  6. Quali controlli dovrebbero essere eseguiti per primi in una pipeline di rilevamento?
    • Controlli deterministici economici, come la conferma dell'esistenza degli URL, degli ID o dei numeri dei casi citati
    • Revisione umana completa di ogni risposta
    • Messa a punto fine del modello sulle risposte segnalate
    • Entropia semantica su ogni token
  7. Quale avvertenza si applica quando si usa un LLM come giudice?
    • I giudici non possono leggere i documenti di origine
    • I giudici lavorano solo in inglese
    • I giudici hanno sempre ragione
    • I giudici hanno i propri bias e tassi di errore, quindi dovrebbero essere confrontati con etichette umane
  8. Perché chiedere semplicemente a un modello "sei sicuro?" è un metodo di rilevamento inaffidabile?
    • I modelli non possono leggere le domande di follow‑up
    • È vietato ai sensi dei termini API
    • I modelli possono abbandonare risposte corrette o difendere quelle sbagliate
    • Raddoppia la dimensione della finestra di contesto