Викторина, связанная с руководством · Средний Уровень
Создание теста набора данных LLM Eval
Тесты находят реальные случаи, золотые ответы по критериям, охват крайних случаев и определение размера оценочного набора, чтобы разница в баллах была значимой.
Вопрос 1 из 8
Что руководство рекомендует в качестве наилучшего исходного источника для случаев оценки?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Что руководство рекомендует в качестве наилучшего исходного источника для случаев оценки?
- Только синтетические вопросы, созданные LLM.
- Таблицы лидеров общедоступных тестов
- Случайный текст, взятый из Интернета
- Реальное использование, например журналы, заявки в службу поддержки и поисковые запросы.
- Когда рубрика более уместна, чем один золотой ответ?
- Для задачи классификации с фиксированными метками
- Для открытых задач, где много разных формулировок могут быть правильными.
- Для получения точного номера счета-фактуры
- Рубрика никогда не будет более подходящей
- Что из этого является хорошо написанным критерием рубрики?
- Полезно
- Звучит естественно
- Указывает срок возврата денег
- Высокое качество
- Что говорит руководство о допуске на погрешность, учитывая 100 случаев «пройдено/не пройдено» и процент сдачи около 80 процентов?
- Это примерно плюс-минус 8 процентных пунктов, поэтому улучшение на два пункта выглядит как шум.
- Это примерно плюс-минус 0,1 процентного пункта.
- Это точно ноль
- Это примерно плюс-минус 50 процентных пунктов.
- Какова цель среза регрессии?
- Автоматическое удаление устаревших дел
- Чтобы ускорить реакцию модели
- Сохранять прошлые сбои в наборе, чтобы исправления оставались проверенными.
- Обучить модель на собственных ошибках
- Что вам следует сделать, прежде чем доверять судье LLM оценивать элементы рубрики?
- Поднимите температуру судьи
- Удалите рубрику, чтобы судья мог свободно принимать решения.
- Проверьте судью по одному делу
- Попросите людей маркировать образец и измерить, насколько часто судья с ними соглашается.
- Зачем хранить часть набора данных, на которую вы не настраиваетесь?
- Чтобы избежать переподгонки подсказок к тестовому набору
- Чтобы сэкономить место для хранения
- Потому что этого требуют правила
- Чтобы уменьшить задержку
- Почему парные сравнения одних и тех же случаев полезны при сравнении двух версий?
- Они устраняют необходимость в грейдере
- Обычно им требуется меньше примеров, чем для сравнения независимых выборок.
- Они удаляют весь недетерминизм из выходных данных модели.
- Они гарантируют высший балл