Quiz collegato alla guida · Difficile Livello
Funzioni di influenza per il quiz sull'attribuzione dei dati di formazione
Verifica i controfattuali della funzione di influenza, le approssimazioni hessiane, il significato dei segni di influenza e l'attribuzione dei dati nei modelli linguistici.
Domanda 1 di 8
A quale domanda controfattuale si avvicinano le funzioni di influenza?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- A quale domanda controfattuale si avvicinano le funzioni di influenza?
- Come cambierebbe la perdita su un punto di test se un esempio di allenamento venisse rimosso o potenziato
- Quanto è accurato in media il modello
- La velocità con cui il modello si allena
- Quanti parametri ha il modello
- Quale oggetto matematico rende intrattabile il calcolo esatto dell'influenza per modelli di grandi dimensioni?
- La funzione softmax
- L'Assia inversa della perdita
- Il programma del tasso di apprendimento
- La dimensione del lotto
- Chi ha adattato le funzioni di influenza al moderno deep learning in un noto articolo del 2017?
- Goodfellow e Bengio
- Vaswani et al.
- Koh e Liang
- Hinton e LeCun
- Sotto la convenzione standard I_up,loss di Koh e Liang, cosa indica un valore negativo?
- The point was not in the training data
- Upweighting the point is estimated to increase test loss
- The point has no relationship to the test example
- Upweighting the point is estimated to lower test loss, so it is helpful
- Quale approssimazione ha utilizzato Anthropic per adattare le funzioni di influenza a modelli linguistici di grandi dimensioni?
- EK-FAC (curvatura con fattore Kronecker)
- Abbandono
- Ricerca del raggio
- Miscuglio
- Che cosa ha scoperto lo studio su larga scala di Anthropic sugli esempi influenti?
- Sono sempre copie esatte dell'output
- Spesso condividono modelli astratti piuttosto che parole identiche
- Sono distribuiti in modo casuale
- È importante solo il primo esempio di formazione
- In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
- The test set’s token count
- A random forest over training labels
- The inverse Hessian of the training loss
- The model’s output vocabulary size
- If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
- It was guaranteed to be a duplicate
- It had no relationship to the model
- It necessarily caused the model to overfit
- It had a helpful influence on that test point under the approximation