Викторина по контрастному декодированию

Ответы и пояснения появляются по мере прохождения теста.

1. Какую роль играет маленькая «любительская» модель в контрастном декодировании?
   • Его лог-вероятности вычитаются для подавления общих режимов отказа.
   • Он генерирует окончательный выходной текст напрямую
   • Отточено на ошибках эксперта
   • Он заменяет эксперта, когда эксперт не уверен.
2. Почему вычитание любительских вероятностей уменьшает повторение и неудовлетворительный результат?
   • Дилетанта приучают никогда не повторять слова.
   • Обе модели отдают предпочтение общим и повторяющимся токенам, поэтому контраст их нивелирует.
   • Дилетант удаляет дубликаты токенов после генерации.
   • Повторение невозможно, если проголосуют две модели.
3. What does the adaptive plausibility constraint do in contrastive decoding?
   • It guarantees every remaining continuation is coherent and true
   • It replaces the expert distribution with the amateur distribution
   • It filters out candidates whose expert probability is too low relative to the expert’s top token
   • It forces every token to have equal probability
4. Какова примерно формула оценки при контрастном декодировании?
   • журнал p_amateur минус журнал p_expert
   • p_эксперт раз p_любитель
   • Среднее из двух вероятностей
   • log p_expert минус коэффициент, умноженный на log p_amateur
5. Ключевое практическое преимущество контрастивного декодирования состоит в том, что оно:
   • Работает во время вывода без дополнительного обучения
   • Требуется совместное переобучение обеих моделей.
   • Работает только над задачами классификации
   • Устраняет необходимость в большой модели.
6. Какой более поздний метод распространяет идею контраста на собственные слои одной модели?
   • Поиск луча
   • DoLa, в котором сравниваются ранние и поздние слои.
   • Жадное декодирование
   • Масштабирование температуры
7. The expert assigns probability 0.4 to its top token and the plausibility threshold is 0.1 of that value. What is the minimum probability for a candidate to remain eligible?
   • 0,4
   • 0,1
   • 0.04
   • 0.004
8. Why can contrastive decoding require more inference work than using the expert model alone?
   • It must retrain both models for every prompt
   • It replaces the vocabulary with image patches
   • It runs only the amateur model
   • It scores candidates with both an expert and an amateur model at inference time