Викторина, связанная с руководством · Средний Уровень
Викторина по моделям вознаграждения процессов
Процесс тестирования вознаграждает модели оценки на уровне шагов, ручные и автоматические метки, изменение ранжирования решений, поиск в дереве и локализацию сбоев.
Вопрос 1 из 8
Что в первую очередь отличает модель вознаграждения за процесс от модели вознаграждения за результат?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что в первую очередь отличает модель вознаграждения за процесс от модели вознаграждения за результат?
- Он оценивает каждый промежуточный шаг рассуждения, а не только окончательный ответ.
- Он работает быстрее во время вывода
- Он не требует никаких обучающих данных
- Он работает только с входными изображениями
- Какой известный набор данных математических меток на уровне шагов человека связан с исследованиями ФРМ?
- ImageNet
- ПРМ800К
- Отряд
- Викитекст
- Почему сигнал о вознаграждении, ориентированный только на результат, может вводить в заблуждение?
- Окончательные ответы никогда не бывают правильными
- Модели результатов не могут читать текст
- Правильный окончательный ответ может быть результатом ошибочных рассуждений, а неправильный ответ - результатом в основном правильных рассуждений.
- Это всегда соответствует грамматике
- Распространенный способ превратить оценки за каждый шаг в одну цепочку оценок заключается в следующем:
- Добавляйте случайное число к каждому шагу
- Игнорировать все, кроме первого шага
- Используйте только количество токенов
- Возьмите минимальную вероятность шага по цепочке
- Что использует подход Math-Shepherd для автоматической маркировки шагов?
- Монте-Карло внедряет оценку того, как часто шаг приводит к правильному ответу
- Ручная экспертиза каждого шага
- Перевод шагов на другой язык
- Подсчет знаков препинания
- Какой риск особенно актуален при обучении моделей PRM?
- Модель разучилась читать
- Взлом вознаграждения, когда шаги кажутся PRM хорошими, но не являются действительно правильными.
- PRM не требует вычислительных ресурсов
- Шаги становится невозможно генерировать
- Как модель вознаграждения процесса может направлять поиск по дереву, а не рассуждения?
- Расширяйте каждую ветку одинаково, не набирая очков.
- Выбирайте ветки по их окончательной длине токена
- Отдавайте приоритет расширению частичных решений, промежуточные этапы которых получают более высокие оценки.
- Заменить все ветки одним случайно выбранным ответом
- Что содержит набор данных PRM800K?
- Метки только окончательного ответа для подписей к изображениям
- Аудиозаписи устных объяснений
- Корпус кода фиксируется без каких-либо аргументирующих меток.
- Человеческие ярлыки для промежуточных шагов в математических решениях