Kvíz spojený s průvodcem · Těžko úroveň
Funkce vlivu pro trénovací kvíz atribuce dat
Kontroluje kontrafaktuály vlivu a funkce, Hessovy aproximace, význam znaků vlivu a atribuce dat v jazykových modelech.
Otázka 1 z 8
Jakou kontrafaktuální otázku aproximují funkce vlivu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jakou kontrafaktuální otázku aproximují funkce vlivu?
- Jak by se změnila ztráta na testovacím bodě, kdyby byl tréninkový příklad odstraněn nebo zvýšen
- Jak je model průměrně přesný
- Jak rychle model trénuje
- Kolik parametrů má model
- Který matematický objekt znemožňuje výpočet přesných vlivů pro velké modely?
- Funkce softmax
- Inverzní Hessian ztráty
- Rozvrh míry učení
- Velikost šarže
- Kdo přizpůsobil funkce vlivu modernímu hlubokému učení ve známém článku z roku 2017?
- Goodfellow a Bengio
- Vaswani a kol.
- Koh a Liang
- Hinton a LeCun
- Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
- The point was not in the training data
- Upweighting the point is estimated to increase test loss
- The point has no relationship to the test example
- Upweighting the point is estimated to lower test loss, so it is helpful
- Jakou aproximaci použil Anthropic ke škálování vlivových funkcí na velké jazykové modely?
- EK-FAC (Kronecker-faktorované zakřivení)
- Výpadek
- Hledání paprskem
- Záměna
- Co zjistila škálovaná studie Anthropic o vlivných příkladech?
- Vždy se jedná o přesné kopie výstupu
- Často sdílejí spíše abstraktní vzory než identické formulace
- Jsou rozmístěny náhodně
- Důležitý je pouze první příklad školení
- In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
- The test set’s token count
- A random forest over training labels
- The inverse Hessian of the training loss
- The model’s output vocabulary size
- If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
- It was guaranteed to be a duplicate
- It had no relationship to the model
- It necessarily caused the model to overfit
- It had a helpful influence on that test point under the approximation