Вікторина, пов’язана з посібником · важко Рівень
Тест із запланованою вибіркою та зміщенням експозиції
Перевіряє, як запланована вибірка змінює контекст декодера, чому зменшується ймовірність золотого маркера, а також градієнтні компроміси вибірки.
Питання 1 з 8
Упередженість експозиції виникає через те, що моделі, навчені вчителем, нав’язують лише такі умови:
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Упередженість експозиції виникає через те, що моделі, навчені вчителем, нав’язують лише такі умови:
- Основні маркери істини, але повинні використовувати власні для висновку
- Їхні власні передбачені токени
- Випадкові жетони шуму
- Майбутні токени
- Що робить запланована вибірка під час навчання?
- Завжди подає справжній жетон
- Довільно вибирає між справжнім токеном і власним прогнозом моделі
- Періодично відключає функцію втрати
- Подвоює швидкість навчання з часом
- Як змінюється ймовірність використання маркера наземної правди під час навчання в плановій вибірці?
- Він залишається постійним
- Починається з низького рівня та збільшується
- Він починається з високого рівня і спадає до нуля
- Він безладно коливається
- Хто запровадив плановий відбір проб і коли приблизно?
- Васвані та ін., 2017
- Хінтон та ін., 2006
- LeCun та ін., 1998
- Бенгіо та ін., 2015
- Визнаним технічним недоліком повернення зразків токенів під час навчання є те, що:
- Крок дискретної вибірки є недиференційованим, що ускладнює градієнти
- Це робить навчання повністю детермінованим
- Для цього не потрібні дані перевірки
- Це усуває необхідність вбудовування
- Яку форму розкладу зазвичай називають для зменшення ймовірності примусу вчителя?
- Постійний
- Зворотньо-сигмоподібний розпад
- Крок лінійного збільшення
- Випадкове блукання
- На етапі декодування, де запланована вибірка вибирає гілку вихідних даних моделі, що подається як наступний маркер контексту?
- Щоразу наступний жетон базової правди
- Маркер із окремої послідовності перевірки
- Маркер, взятий із передбачуваного розподілу моделі
- Середнє значення всіх вбудованих словників
- Чому запланована вибірка зазвичай починається з високою ймовірністю використання основної правди?
- Це гарантує неупереджені градієнти
- Це усуває потребу в розкладі тренувань
- Це змушує висновок використовувати основні істинні маркери
- Ранні прогнози погані, тому правильний префікс може стабілізувати початкове навчання