Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Befolyásolási függvények a képzési adat-hozzárendelési kvízhez
Checks influence-function counterfactuals, Hessian approximations, the meaning of influence signs and data attribution in language models.
kérdés 1 -ból 8
Milyen kontrafaktuális kérdést közelítenek a befolyásoló függvények?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Milyen kontrafaktuális kérdést közelítenek a befolyásoló függvények?
- Hogyan változna a veszteség egy tesztponton, ha egy edzéspéldát eltávolítanának vagy súlyoznának
- Mennyire pontos a modell átlagosan
- Milyen gyorsan edz a modell
- Hány paraméterrel rendelkezik a modell
- Melyik matematikai objektum teszi lehetetlenné a pontos hatásszámítást nagy modelleknél?
- A softmax funkció
- A veszteség fordított Hessianusa
- A tanulási ütem ütemezése
- A tétel mérete
- Ki adaptálta a befolyásolási függvényeket a modern mély tanuláshoz egy jól ismert 2017-es tanulmányban?
- Goodfellow és Bengio
- Vaswani et al.
- Koh és Liang
- Hinton és LeCun
- Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
- The point was not in the training data
- Upweighting the point is estimated to increase test loss
- The point has no relationship to the test example
- Upweighting the point is estimated to lower test loss, so it is helpful
- Melyik közelítést használta Anthropic a befolyásoló függvények nagy nyelvi modellekre való skálázásához?
- EK-FAC (Kronecker-faktoros görbület)
- Lemorzsolódás
- Sugárkeresés
- Keverés
- Mit talált Anthropic skálázott tanulmánya a hatásos példákról?
- Ezek mindig a kimenet pontos másolatai
- Gyakran inkább elvont mintákon osztoznak, mintsem azonos megfogalmazásban
- Véletlenszerűen vannak elosztva
- Csak az első képzési példa számít
- In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
- The test set’s token count
- A random forest over training labels
- The inverse Hessian of the training loss
- The model’s output vocabulary size
- If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
- It was guaranteed to be a duplicate
- It had no relationship to the model
- It necessarily caused the model to overfit
- It had a helpful influence on that test point under the approximation