Вікторина, пов’язана з посібником · Середній Рівень

Вікторина LLM як суддя

Перегляньте оцінювання на основі моделі, поточкові та попарні рубрики, оцініть упередженість і перевірте відповідність людським уподобанням. на практиці.

Пов'язані напрямні шляхиLLM як суддя
Питання 1 з 8

Що означає «LLM-as-a-judge»?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Що означає «LLM-as-a-judge»?
    • Використання однієї мовної моделі для оцінки або порівняння результатів іншої моделі
    • Використання мовної моделі для написання правових вироків
    • Модель, яка відповідає лише на запитання «так/ні».
    • Модель, яка ранжує результати пошуку за датою
  2. Яка різниця між побічним і попарним суддівством?
    • Точково швидше; попарно повільніше, але ідентичні в іншому
    • Побально оцінює одну відповідь за рубрикою; попарно вибирає кращого з двох
    • Поточково працює лише для коду; попарно лише для прози
    • Реальної різниці немає
  3. Що з цього є добре задокументованим упередженням суддів LLM?
    • Надаю перевагу відповідям, написаним великими літерами
    • Завжди віддавайте перевагу першому слову за алфавітом
    • Надаю перевагу довшим відповідям незалежно від якості
    • Відмова оцінювати запитання з історії
  4. Як оцінювачі зазвичай протидіють упередженню позиції в попарних порівняннях?
    • Показуючи лише одну відповідь за раз
    • Завжди ставлячи довшу відповідь першою
    • Видаливши поле вирівнювання
    • Виконуючи кожне порівняння двічі зі зміною порядку
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Як команда може підтвердити, що суддя LLM відповідає людським уподобанням?
    • Ніколи не перевіряючи його знову після налаштування
    • Шляхом калібрування його за золотим набором, позначеним людиною
    • Змусивши оцінити суддю
    • Використовуючи його лише у вихідні дні
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens