Тест на расшифровку минимального байесовского риска

Ответы и пояснения появляются по мере прохождения теста.

1. Что выбирает декодирование MBR вместо одной наиболее вероятной последовательности?
   • Кандидат с наибольшей ожидаемой полезностью по сравнению с другими вероятными результатами.
   • Самая короткая последовательность
   • Случайная выборка
   • Самая длинная последовательность
2. Поскольку настоящие ссылки недоступны, что MBR использует в качестве псевдоссылок?
   • Фиксированный внешний корпус
   • Пул выборочных результатов-кандидатов
   • Человеческие аннотации
   • Тренировочный набор
3. Почему наивный MBR требует больших вычислительных затрат?
   • Требуется переобучение модели
   • нужен больший словарный запас
   • Попарное сравнение N кандидатов — это вызовы метрик O(N в квадрате).
   • Он не использует графический процессор
4. What has COMET been used for in minimum Bayes risk machine-translation experiments?
   • As a universal guarantee of better translation quality
   • As a tokenizer for the candidate pool
   • As an exact reference translation available at inference
   • As a learned utility metric in evaluated translation settings
5. Самосогласованность рассуждений относится к MBR, поскольку она:
   • Пробует множество цепочек и выбирает наиболее согласованный ответ.
   • Всегда принимает первый выборочный ответ
   • Использует внутренний поиск луча
   • Игнорирует распределение модели
6. How is risk generally expressed in minimum Bayes risk decision-making?
   • Always one minus a normalized similarity score
   • Expected loss under a chosen loss function and reference distribution
   • The model’s parameter count divided by accuracy
   • The number of candidates sampled
7. If the chosen utility metric disagrees with human judgments, what will MBR primarily optimize?
   • Human preference automatically overrides the metric
   • The model’s raw next-token likelihood
   • The expected utility under that selected metric
   • The shortest candidate in the pool
8. If a high-quality answer is missing from the sampled candidate pool, what can MBR do?
   • It guarantees the missing answer is generated
   • It changes the model weights to add the answer
   • It replaces the utility metric with a human reference
   • It can only select or rerank candidates that are in the pool