Викторина, связанная с руководством · Средний Уровень

Создание теста набора данных LLM Eval

Тесты находят реальные случаи, золотые ответы по критериям, охват крайних случаев и определение размера оценочного набора, чтобы разница в баллах была значимой.

Связанные направляющие путиСоздание наборов оценочных данных LLM
Вопрос 1 из 8

Что руководство рекомендует в качестве наилучшего исходного источника для случаев оценки?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что руководство рекомендует в качестве наилучшего исходного источника для случаев оценки?
    • Только синтетические вопросы, созданные LLM.
    • Таблицы лидеров общедоступных тестов
    • Случайный текст, взятый из Интернета
    • Реальное использование, например журналы, заявки в службу поддержки и поисковые запросы.
  2. Когда рубрика более уместна, чем один золотой ответ?
    • Для задачи классификации с фиксированными метками
    • Для открытых задач, где много разных формулировок могут быть правильными.
    • Для получения точного номера счета-фактуры
    • Рубрика никогда не будет более подходящей
  3. Что из этого является хорошо написанным критерием рубрики?
    • Полезно
    • Звучит естественно
    • Указывает срок возврата денег
    • Высокое качество
  4. Что говорит руководство о допуске на погрешность, учитывая 100 случаев «пройдено/не пройдено» и процент сдачи около 80 процентов?
    • Это примерно плюс-минус 8 процентных пунктов, поэтому улучшение на два пункта выглядит как шум.
    • Это примерно плюс-минус 0,1 процентного пункта.
    • Это точно ноль
    • Это примерно плюс-минус 50 процентных пунктов.
  5. Какова цель среза регрессии?
    • Автоматическое удаление устаревших дел
    • Чтобы ускорить реакцию модели
    • Сохранять прошлые сбои в наборе, чтобы исправления оставались проверенными.
    • Обучить модель на собственных ошибках
  6. Что вам следует сделать, прежде чем доверять судье LLM оценивать элементы рубрики?
    • Поднимите температуру судьи
    • Удалите рубрику, чтобы судья мог свободно принимать решения.
    • Проверьте судью по одному делу
    • Попросите людей маркировать образец и измерить, насколько часто судья с ними соглашается.
  7. Зачем хранить часть набора данных, на которую вы не настраиваетесь?
    • Чтобы избежать переподгонки подсказок к тестовому набору
    • Чтобы сэкономить место для хранения
    • Потому что этого требуют правила
    • Чтобы уменьшить задержку
  8. Почему парные сравнения одних и тех же случаев полезны при сравнении двух версий?
    • Они устраняют необходимость в грейдере
    • Обычно им требуется меньше примеров, чем для сравнения независимых выборок.
    • Они удаляют весь недетерминизм из выходных данных модели.
    • Они гарантируют высший балл