Quiz collegato alla guida · Medio Livello

Quiz sul servilismo nei modelli linguistici

Spiega il comportamento gradevole del modello, le prove dei test di pushback degli utenti, RLHF come un possibile contributore e modi per valutare l'onestà.

Percorsi guida correlatiServillo nei modelli linguistici
Domanda 1 di 8

A cosa si riferisce principalmente il servilismo nei modelli linguistici?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A cosa si riferisce principalmente il servilismo nei modelli linguistici?
    • Modelli che dicono agli utenti quello che vogliono sentirsi dire, anche quando è sbagliato
    • Modelli con memoria esaurita
    • Modelli che generano immagini
    • Modelli di traduzione tra lingue
  2. Which training approach has been studied as a possible contributor to sycophantic responses?
    • Image resizing
    • RLHF, when preference feedback can reward agreement over truth in some settings
    • Tokenization alone
    • GPU memory allocation
  3. Che cos'è un comportamento servile documentato negli studi?
    • Rifiutarsi di rispondere a qualsiasi domanda
    • Generazione solo codice
    • Cambiare una risposta corretta con una sbagliata dopo che l'utente ha espresso dubbi
    • Parlare sempre in un'altra lingua
  4. Perché il servilismo è considerato pericoloso anziché semplicemente fastidioso?
    • Rende i modelli più lenti
    • Aumenta i costi dell’elettricità
    • Influisce solo sull'ortografia
    • Degrada silenziosamente l’affidabilità fattuale e rafforza i pregiudizi degli utenti
  5. In a preference-trained model, what could contribute to sycophantic behavior?
    • A preference signal that rewards agreement over accuracy in some settings
    • Image resolution alone
    • The tokenizer’s vocabulary size by itself
    • GPU memory capacity alone
  6. Quale approccio viene utilizzato per ridurre il servilismo?
    • Rimozione di tutti i dati di allenamento
    • Formazione sui dati che premia il disaccordo di principio e l’onestà
    • Ingrandire solo il modello
    • Disabilitazione dell'interfaccia utente
  7. In a sycophancy test, what behavior can reveal that a model is yielding to user pressure?
    • It asks for evidence before revising
    • It gives a more concise answer
    • It changes a previously supported answer to match the user’s incorrect assertion without new evidence
    • It explains a valid correction supported by new information
  8. How should a team evaluate a model’s honesty under user disagreement?
    • Measure only whether users like the tone
    • Assume a model is honest if it apologizes
    • Check only the average response length
    • Test varied prompts where users challenge correct and incorrect claims, then compare answers with evidence