Quiz collegato alla guida · Difficile Livello

Funzioni di influenza per il quiz sull'attribuzione dei dati di formazione

Verifica i controfattuali della funzione di influenza, le approssimazioni hessiane, il significato dei segni di influenza e l'attribuzione dei dati nei modelli linguistici.

Domanda 1 di 8

A quale domanda controfattuale si avvicinano le funzioni di influenza?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. A quale domanda controfattuale si avvicinano le funzioni di influenza?
    • Come cambierebbe la perdita su un punto di test se un esempio di allenamento venisse rimosso o potenziato
    • Quanto è accurato in media il modello
    • La velocità con cui il modello si allena
    • Quanti parametri ha il modello
  2. Quale oggetto matematico rende intrattabile il calcolo esatto dell'influenza per modelli di grandi dimensioni?
    • La funzione softmax
    • L'Assia inversa della perdita
    • Il programma del tasso di apprendimento
    • La dimensione del lotto
  3. Chi ha adattato le funzioni di influenza al moderno deep learning in un noto articolo del 2017?
    • Goodfellow e Bengio
    • Vaswani et al.
    • Koh e Liang
    • Hinton e LeCun
  4. Sotto la convenzione standard I_up,loss di Koh e Liang, cosa indica un valore negativo?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Quale approssimazione ha utilizzato Anthropic per adattare le funzioni di influenza a modelli linguistici di grandi dimensioni?
    • EK-FAC (curvatura con fattore Kronecker)
    • Abbandono
    • Ricerca del raggio
    • Miscuglio
  6. Che cosa ha scoperto lo studio su larga scala di Anthropic sugli esempi influenti?
    • Sono sempre copie esatte dell'output
    • Spesso condividono modelli astratti piuttosto che parole identiche
    • Sono distribuiti in modo casuale
    • È importante solo il primo esempio di formazione
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation