Kvíz spojený s průvodcem · Těžko úroveň

Funkce vlivu pro trénovací kvíz atribuce dat

Kontroluje kontrafaktuály vlivu a funkce, Hessovy aproximace, význam znaků vlivu a atribuce dat v jazykových modelech.

Otázka 1 z 8

Jakou kontrafaktuální otázku aproximují funkce vlivu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jakou kontrafaktuální otázku aproximují funkce vlivu?
    • Jak by se změnila ztráta na testovacím bodě, kdyby byl tréninkový příklad odstraněn nebo zvýšen
    • Jak je model průměrně přesný
    • Jak rychle model trénuje
    • Kolik parametrů má model
  2. Který matematický objekt znemožňuje výpočet přesných vlivů pro velké modely?
    • Funkce softmax
    • Inverzní Hessian ztráty
    • Rozvrh míry učení
    • Velikost šarže
  3. Kdo přizpůsobil funkce vlivu modernímu hlubokému učení ve známém článku z roku 2017?
    • Goodfellow a Bengio
    • Vaswani a kol.
    • Koh a Liang
    • Hinton a LeCun
  4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Jakou aproximaci použil Anthropic ke škálování vlivových funkcí na velké jazykové modely?
    • EK-FAC (Kronecker-faktorované zakřivení)
    • Výpadek
    • Hledání paprskem
    • Záměna
  6. Co zjistila škálovaná studie Anthropic o vlivných příkladech?
    • Vždy se jedná o přesné kopie výstupu
    • Často sdílejí spíše abstraktní vzory než identické formulace
    • Jsou rozmístěny náhodně
    • Důležitý je pouze první příklad školení
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation