Вікторина, пов’язана з посібником · Середній Рівень
Тест щодо моделей винагороди процесу
Поетапне оцінювання моделей винагороди процесу тестування, людські та автоматичні мітки, переранжування рішень, пошук по дереву та локалізація помилок.
Питання 1 з 8
Що головним чином відрізняє модель винагороди за процес від моделі винагороди за результат?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Що головним чином відрізняє модель винагороди за процес від моделі винагороди за результат?
- Він оцінює кожен проміжний крок міркування, а не лише остаточну відповідь
- Він працює швидше під час висновку
- Для цього не потрібні навчальні дані
- Він працює лише на вхідних зображеннях
- Який добре відомий набір даних математичних міток людського рівня пов’язаний з дослідженням PRM?
- ImageNet
- PRM800K
- СКВАД
- WikiText
- Чому сигнал винагороди лише за результатами може вводити в оману?
- Остаточні відповіді ніколи не бувають правильними
- Моделі результатів не можуть читати текст
- Правильна остаточна відповідь може бути результатом неправильних міркувань, або неправильна відповідь через переважно правильні міркування
- Це завжди відповідає граматиці
- Поширений спосіб перетворити покрокові оцінки в один ланцюжок:
- До кожного кроку додайте випадкове число
- Ігноруйте все, крім першого кроку
- Використовуйте лише кількість жетонів
- Візьміть мінімальну ймовірність кроку по ланцюжку
- Що використовує підхід Math-Shepherd для автоматичного позначення кроків?
- Розгортки за методом Монте-Карло, які оцінюють, як часто крок призводить до правильної відповіді
- Ручний експертний огляд кожного кроку
- Переклад кроків іншою мовою
- Підрахунок розділових знаків
- Який ризик є особливо актуальним під час навчання моделей проти ФРМ?
- Модель розучується читати
- Злом винагороди, коли кроки виглядають добре для PRM, але не є справді правильними
- PRM не споживає обчислення
- Кроки стає неможливо створити
- How can a process reward model guide a tree search over reasoning?
- Expand every branch equally without scoring
- Choose branches by their final token length
- Prioritize expanding partial solutions whose intermediate steps receive stronger scores
- Replace all branches with one randomly selected answer
- What does the PRM800K dataset contain?
- Only final answer labels for image captions
- Audio recordings of spoken explanations
- A corpus of code commits with no reasoning labels
- Human labels for intermediate steps in mathematical reasoning solutions