Викторина Канемана-Тверски по оптимизации

Ответы и пояснения появляются по мере прохождения теста.

1. Какие данные требует КТО?
   • Двоичные желательные/нежелательные метки на отдельных выходах
   • Ранжированные пары выбранных и отклоненных ответов
   • Только неразмеченный текст
   • Числовые оценки вознаграждения от 0 до 100.
2. Какая работа вдохновила KTO?
   • относительность Эйнштейна
   • Теория перспектив Канемана и Тверски.
   • Эволюция Дарвина
   • Теория информации Шеннона
3. Что такое «неприятие потерь», используемое в КТО?
   • Полностью исключить любую функцию потерь
   • Отказ тренироваться на потерях
   • Наказание за нежелательные результаты более резкое, чем вознаграждение за желательные
   • Сделать скорость обучения отрицательной
4. What kind of feedback can KTO learn from without requiring paired comparisons?
   • Only a ranked list of five outputs
   • Only a reference translation
   • Only a token-level grammar mask
   • A binary label indicating whether an individual output is desirable
5. В КТО отклонения измеряются относительно чего?
   • Ориентир или базовый уровень вознаграждения
   • Общее количество параметров
   • Температура графического процессора
   • Размер словарного запаса
6. What does the KTO reference point help define?
   • The number of transformer layers
   • Whether an output’s implicit reward is above or below a baseline
   • A fixed translation in another language
   • The model’s maximum context length
7. Does KTO’s use of binary desirability feedback prove it will outperform preference-pair methods?
   • Yes, binary feedback is always superior
   • Yes, it eliminates the need to train a model
   • No; performance depends on the model, data, and evaluation setting
   • No, because binary feedback cannot be used for language models
8. Which behavioral-economics framework motivates KTO?
   • Classical signal detection theory
   • Bayesian network structure learning
   • The efficient-market hypothesis
   • Kahneman and Tversky’s prospect theory