Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Befolyásolási függvények a képzési adat-hozzárendelési kvízhez

Checks influence-function counterfactuals, Hessian approximations, the meaning of influence signs and data attribution in language models.

kérdés 1 -ból 8

Milyen kontrafaktuális kérdést közelítenek a befolyásoló függvények?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Milyen kontrafaktuális kérdést közelítenek a befolyásoló függvények?
    • Hogyan változna a veszteség egy tesztponton, ha egy edzéspéldát eltávolítanának vagy súlyoznának
    • Mennyire pontos a modell átlagosan
    • Milyen gyorsan edz a modell
    • Hány paraméterrel rendelkezik a modell
  2. Melyik matematikai objektum teszi lehetetlenné a pontos hatásszámítást nagy modelleknél?
    • A softmax funkció
    • A veszteség fordított Hessianusa
    • A tanulási ütem ütemezése
    • A tétel mérete
  3. Ki adaptálta a befolyásolási függvényeket a modern mély tanuláshoz egy jól ismert 2017-es tanulmányban?
    • Goodfellow és Bengio
    • Vaswani et al.
    • Koh és Liang
    • Hinton és LeCun
  4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Melyik közelítést használta Anthropic a befolyásoló függvények nagy nyelvi modellekre való skálázásához?
    • EK-FAC (Kronecker-faktoros görbület)
    • Lemorzsolódás
    • Sugárkeresés
    • Keverés
  6. Mit talált Anthropic skálázott tanulmánya a hatásos példákról?
    • Ezek mindig a kimenet pontos másolatai
    • Gyakran inkább elvont mintákon osztoznak, mintsem azonos megfogalmazásban
    • Véletlenszerűen vannak elosztva
    • Csak az első képzési példa számít
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation