Викторина по декодированию самосогласованности

Ответы и пояснения появляются по мере прохождения теста.

1. How does self-consistency decoding pick a final answer from a language model?
   • Попробуйте множество путей рассуждения и примите большинство голосов за ответ.
   • Всегда выбирайте один наиболее вероятный токен на каждом этапе.
   • Неоднократно обучайте модель на собственных выходных данных.
   • Удалить всю случайность из генерации
2. Under what condition can self-consistency improve answer accuracy?
   • Whenever the number of samples increases
   • When correct sampled paths converge and errors are not too strongly correlated
   • When every reasoning chain has identical wording
   • Only when the model weights are retrained
3. Какой метод декодирования заменяет самосогласованность?
   • Обратное распространение ошибки
   • Токенизация
   • Жадное декодирование одной цепочки
   • Весовое квантование
4. Какая часть каждой выбранной цепочки фактически используется при окончательном голосовании?
   • Полный текст аргументации
   • Количество сгенерированных токенов
   • Настройка температуры
   • Только окончательный ответ
5. What is the main cost of increasing the number of self-consistency samples?
   • More inference compute; accuracy gains depend on the task and can have diminishing returns
   • It retrains the model weights after every response
   • It guarantees that the majority is correct
   • It eliminates the need to sample any reasoning paths
6. Самосогласованность является ранним примером какой более широкой концепции?
   • Сжатие модели
   • Масштабирование времени вывода (затрачиваются дополнительные вычисления, чтобы лучше рассуждать)
   • Увеличение данных во время обучения
   • Аппаратное ускорение
7. Why may answer normalization be useful before a self-consistency vote?
   • It makes all reasoning paths independent
   • It verifies the answer against external evidence
   • It can group semantically equivalent answers that use different formatting
   • It changes the model’s sampled probabilities
8. What is a key limitation of a majority answer from self-consistency?
   • A majority vote cannot be computed for text
   • Sampling always changes the model weights
   • Every reasoning path is guaranteed independent
   • Correlated reasoning errors can make an incorrect answer win the vote