Викторина для LLM в качестве судьи

Ответы и пояснения появляются по мере прохождения теста.

1. Что означает «LLM как судья»?
   • Использование одной языковой модели для оценки или сравнения результатов другой модели.
   • Использование языковой модели для написания юридических вердиктов
   • Модель, которая отвечает только на вопросы «да/нет»
   • Модель, которая ранжирует результаты поиска по дате.
2. В чем разница между точечным и парным судейством?
   • Поточечно быстрее; попарно медленнее, но в остальном идентично
   • Pointwise оценивает один ответ по критериям; попарно выбирает лучшее из двух
   • Pointwise работает только для кода; попарно только для прозы
   • Нет никакой реальной разницы
3. Что из этого является хорошо задокументированной предвзятостью судей LLM?
   • Предпочитаю ответы, написанные заглавными буквами.
   • Всегда предпочитаю первое слово в алфавитном порядке
   • Предпочтение более длинным ответам независимо от качества
   • Отказ оценивать вопросы по истории
4. Как оценщики обычно противодействуют предвзятости позиции при парных сравнениях?
   • Показывая только один ответ за раз
   • Всегда ставя более длинный ответ первым
   • Удалив поле выравнивания
   • Запуская каждое сравнение дважды с измененным порядком
5. What evaluation procedure did G-Eval use for generated text?
   • Chain-of-thought steps followed by a form-filling evaluation against criteria
   • A speaker verification threshold
   • A search index with BM25 only
   • An image classifier trained on screenshots
6. Как команда может подтвердить, что судья LLM соответствует человеческим предпочтениям?
   • Никогда не проверяя его снова после установки
   • Калибруя его по золотому набору, маркированному человеком.
   • Поставив оценку судье самому
   • Пользуюсь им только по выходным
7. What is self-preference bias in LLM-based evaluation?
   • A judge always selects the shortest answer
   • A judge cannot compare two outputs
   • A judge favors outputs generated by its own model or model family
   • A judge evaluates only audio signals
8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
   • The position of the answer in a pairwise comparison
   • The judge model’s parameter count only
   • A count of citations in the answer
   • Probability weights over the candidate score tokens