Тест, свързан с ръководство · трудно Ниво

Функции за влияние за тест за приписване на данни за обучение

Проверява съпоставителните факти на функцията на влиянието, приближенията на Хесен, значението на знаците за влияние и приписването на данни в езиковите модели.

Свързани ръководни пътекиФункции за влияние за приписване на данни за обучение
Въпрос 1 на 8

Какъв контрафактичен въпрос приближават функциите на влияние?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какъв контрафактичен въпрос приближават функциите на влияние?
    • Как ще се промени загубата на тестова точка, ако пример за обучение бъде премахнат или претеглен с повишена тежест
    • Колко точен е средно моделът
    • Колко бързо тренира моделът
    • Колко параметъра има моделът
  2. Кой математически обект прави изчислението на точното влияние неразрешимо за големи модели?
    • Функцията softmax
    • Обратният Хесиан на загубата
    • Графикът на скоростта на обучение
    • Размерът на партидата
  3. Кой адаптира функциите на влияние към модерното задълбочено обучение в добре позната статия от 2017 г.?
    • Гудфелоу и Бенджио
    • Vaswani и др.
    • Ко и Лян
    • Хинтън и Лекун
  4. Under Koh and Liang’s standard I_up,loss convention, what does a negative value indicate?
    • The point was not in the training data
    • Upweighting the point is estimated to increase test loss
    • The point has no relationship to the test example
    • Upweighting the point is estimated to lower test loss, so it is helpful
  5. Кое приближение използва Anthropic за мащабиране на функциите за влияние към големи езикови модели?
    • EK-FAC (кривина, факторизирана по Кронекер)
    • Отпадане
    • Търсене по лъч
    • объркване
  6. Какво установи мащабното проучване на Anthropic за влиятелни примери?
    • Те винаги са точни копия на изхода
    • Те често споделят абстрактни модели, а не идентични формулировки
    • Те са разпределени на случаен принцип
    • Има значение само първият пример за обучение
  7. In the influence-function approximation, what connects a training-example gradient to the effect on a test loss?
    • The test set’s token count
    • A random forest over training labels
    • The inverse Hessian of the training loss
    • The model’s output vocabulary size
  8. If removing one training example is estimated to increase a test point’s loss, what does that suggest about the example?
    • It was guaranteed to be a duplicate
    • It had no relationship to the model
    • It necessarily caused the model to overfit
    • It had a helpful influence on that test point under the approximation