Тест, свързан с ръководство · Среден Ниво

Викторина за LLM като съдия

Преглед на оценяване, базирано на модел, рубрики по точки и по двойки, преценка на пристрастия и валидиране спрямо човешки предпочитания. на практика.

Свързани ръководни пътекиLLM като съдия
Въпрос 1 на 8

Какво означава „LLM-as-a-judge“?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво означава „LLM-as-a-judge“?
    • Използване на един езиков модел за оценяване или сравняване на резултатите на друг модел
    • Използване на езиков модел за писане на правни присъди
    • Модел, който отговаря само на въпроси с да/не
    • Модел, който класира резултатите от търсенето по дата
  2. Каква е разликата между съдийството по точки и съдийството по двойки?
    • Точково е по-бързо; по двойки е по-бавно, но иначе е идентично
    • Точково оценява един отговор спрямо рубрика; по двойки избира по-добрия от двама
    • Pointwise работи само за код; по двойки само за проза
    • Реална разлика няма
  3. Кое от тях е добре документирано пристрастие в LLM съдиите?
    • Предпочитам отговори, написани изцяло с главни букви
    • Винаги предпочитайте първата дума по азбучен ред
    • Предпочитат по-дълги отговори, независимо от качеството
    • Отказва да оценява въпроси за историята
  4. Как оценителите обикновено противодействат на пристрастията на позицията при сравнения по двойки?
    • Като показва само един отговор наведнъж
    • Като винаги поставяте по-дългия отговор на първо място
    • Чрез изтриване на полето за обосновка
    • Като стартирате всяко сравнение два пъти с разменен ред
  5. What evaluation procedure did G-Eval use for generated text?
    • Chain-of-thought steps followed by a form-filling evaluation against criteria
    • A speaker verification threshold
    • A search index with BM25 only
    • An image classifier trained on screenshots
  6. Как един екип може да потвърди, че съдия LLM остава в съответствие с човешките предпочитания?
    • Като никога не го проверявате отново след настройката
    • Като го калибрирате спрямо златен комплект, маркиран от хора
    • Като накара съдията да се оцени сам
    • Използвайки го само през уикендите
  7. What is self-preference bias in LLM-based evaluation?
    • A judge always selects the shortest answer
    • A judge cannot compare two outputs
    • A judge favors outputs generated by its own model or model family
    • A judge evaluates only audio signals
  8. What does G-Eval use to make its discrete score more fine-grained in the reported method?
    • The position of the answer in a pairwise comparison
    • The judge model’s parameter count only
    • A count of citations in the answer
    • Probability weights over the candidate score tokens