Fonctions d'influence pour le quiz sur l'attribution des données de formation

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

1. À quelle question contrefactuelle les fonctions d’influence se rapprochent-elles ?
   • Comment la perte sur un point de test changerait si un exemple de formation était supprimé ou pondéré
   • Quelle est la précision moyenne du modèle
   • À quelle vitesse le modèle s'entraîne
   • Combien de paramètres le modèle possède-t-il
2. Quel objet mathématique rend le calcul d’influence exact insoluble pour les grands modèles ?
   • La fonction softmax
   • Le Hessien inverse de la perte
   • La grille tarifaire d’apprentissage
   • La taille du lot
3. Qui a adapté les fonctions d'influence à l'apprentissage profond moderne dans un article bien connu de 2017 ?
   • Goodfellow et Bengio
   • Vaswani et coll.
   • Koh et Liang
   • Hinton et LeCun
4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
   • The point was not in the training data
   • Upweighting the point is estimated to increase test loss
   • The point has no relationship to the test example
   • Upweighting the point is estimated to lower test loss, so it is helpful
5. Quelle approximation Anthropic a-t-il utilisée pour adapter les fonctions d'influence à de grands modèles de langage ?
   • EK-FAC (courbure pondérée par Kronecker)
   • Abandon
   • Recherche de faisceau
   • Mélange
6. Qu'a révélé l'étude à grande échelle de Anthropic sur les exemples influents ?
   • Ce sont toujours des copies exactes de la sortie
   • Ils partagent souvent des motifs abstraits plutôt que des formulations identiques
   • Ils sont distribués au hasard
   • Seul le premier exemple de formation compte
7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
   • The test set’s token count
   • A random forest over training labels
   • The inverse Hessian of the training loss
   • The model’s output vocabulary size
8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
   • It was guaranteed to be a duplicate
   • It had no relationship to the model
   • It necessarily caused the model to overfit
   • It had a helpful influence on that test point under the approximation