Funkcje wpływu w quizie dotyczącym atrybucji danych szkoleniowych

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jakie pytanie alternatywne przybliża funkcje wpływające?
   • Jak zmieniłaby się strata w punkcie testowym, gdyby przykład uczący został usunięty lub wzmocniony
   • Jak dokładny jest średnio model
   • Jak szybko model się trenuje
   • Ile parametrów ma model
2. Który obiekt matematyczny utrudnia dokładne obliczenie wpływu w przypadku dużych modeli?
   • Funkcja softmax
   • Odwrotność Hesja straty
   • Harmonogram tempa nauki
   • Rozmiar partii
3. Kto zaadaptował funkcje wpływu do współczesnego głębokiego uczenia się w dobrze znanym artykule z 2017 roku?
   • Goodfellow i Bengio
   • Vaswani i in.
   • Koha i Lianga
   • Hintona i LeCuna
4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
   • The point was not in the training data
   • Upweighting the point is estimated to increase test loss
   • The point has no relationship to the test example
   • Upweighting the point is estimated to lower test loss, so it is helpful
5. Jakiego przybliżenia użył Anthropic do skalowania funkcji wpływu do dużych modeli językowych?
   • EK-FAC (krzywizna współczynnika Kroneckera)
   • Rezygnacja
   • Wyszukiwanie wiązki
   • Pomieszanie
6. Co wynika ze skalowanego badania Anthropic na temat wpływowych przykładów?
   • Są to zawsze dokładne kopie wyników
   • Często mają raczej abstrakcyjne wzory niż identyczne sformułowania
   • Są one dystrybuowane losowo
   • Liczy się tylko pierwszy przykład szkoleniowy
7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
   • The test set’s token count
   • A random forest over training labels
   • The inverse Hessian of the training loss
   • The model’s output vocabulary size
8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
   • It was guaranteed to be a duplicate
   • It had no relationship to the model
   • It necessarily caused the model to overfit
   • It had a helpful influence on that test point under the approximation