Техническое РУКОВОДСТВО

Создание набора оценочных данных LLM

Набор оценочных данных LLM — это тщательно подобранный набор реалистичных входных данных, каждый из которых сочетается с золотым ответом, справочными фактами или критериями оценки, с которыми вы запускаете свое приложение для измерения качества и выявления регрессий.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице4 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее создания набора данных для оценки LLM
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно, поскольку изменение подсказки, модели или извлечения данных может улучшить одно поведение и нарушить другое. Без фиксированного набора тестов командам приходится оценивать изменения по нескольким тщательно подобранным примерам.

Глубокое погружение

Начните с реального использования. Журналы, заявки в службу поддержки, поисковые запросы и интервью с пользователями показывают, что на самом деле спрашивают люди, включая беспорядочные формулировки, которые упускаются из виду в придуманных примерах. Перед запуском попросите экспертов в предметной области написать входные данные. Вы можете добавлять синтетические кейсы, созданные LLM, при условии, что человек просматривает их и удаляет нереалистичные или повторяющиеся элементы. Затем определите, что означает «правильный» для каждого случая. Некоторые задачи имеют один правильный ответ, например, классификация, извлечение или поиск фактов. Для этого сохраните золотой ответ, который можно будет сравнить точно или после легкой нормализации. Для открытых задач напишите рубрику с конкретными проверяемыми критериями, например «упоминает крайний срок возврата средств» или «не рекомендует конкурента». Расплывчатые критерии, такие как «полезно», приводят к противоречивым оценкам, независимо от того, является ли оценщик человеком или моделью судьи. Затем намеренно охватите диапазон реальных входных данных. Отмечайте дела по намерению, сложности, языку и типу пользователя и проверяйте, представлены ли важные группы. Добавьте крайние случаи и состязательные входные данные: - неоднозначные вопросы - запросы с отсутствующей информацией - очень длинные входные данные - запросы, выходящие за рамки области применения, которые следует отклонять - попытки быстрого внедрения Сохраняйте срез регрессии, составленный из прошлых неудач. Размер набора соответствует решению, которое он должен поддерживать. Несколько десятков хорошо отобранных случаев могут выявить серьезные проблемы на ранней стадии. Для надежного обнаружения небольших различий требуется больше усилий. При 100 случаях «пройдено/не пройдено» и проценте «пройдено» около 80 процентов погрешность составляет примерно плюс-минус 8 процентных пунктов при доверительной вероятности 95 процентов. Улучшение на два пункта неотличимо от шума такого размера. Сообщайте о результатах для каждого среза, а не только об общем среднем значении. Распространенной ошибкой является считать набор данных завершенным. Продукты и пользователи меняются, поэтому обновите их из новых журналов. Оставьте оставленную часть, на которую вы никогда не настроитесь, чтобы ваши подсказки не соответствовали тесту.

Реальная реализация

Команда поддержки экспортирует 300 реальных заявок с удаленными личными данными, помечает правильное разрешение для каждой и сравнивает с ними каждую новую версию запроса.

Для итогового отчета встречи, в котором многие формулировки верны, команда составляет рубрику: охватывает три ключевых решения, не делает необоснованных заявлений, не превышает 150 слов.

Команда добавляет крайние случаи: пустой ввод, вопрос на испанском языке, документ, содержащий попытку быстрой инъекции, и запрос, выходящий за рамки области действия, который помощник должен отклонить.

Когда пользователь сообщает о неправильном ответе в рабочей среде, случай попадает в набор данных с правильным ответом, поэтому с этого момента исправление остается проверенным.

Будущее создания набора данных для оценки LLM

Инструментарий Eval быстро усовершенствовался. Фреймворки с открытым исходным кодом и размещенные платформы теперь управляют наборами данных, запускают оценщики и отслеживают результаты с течением времени. Генерация синтетических данных, вероятно, будет продолжать совершенствоваться, что удешевит покрытие редких случаев. Он не может заменить реальные действия пользователя в качестве якоря для того, что имеет значение. Поскольку приложения становятся более агентными, наборы оценки все чаще включают в себя многоэтапные задачи, оцениваемые как по конечному результату, так и по шагам, предпринятым на этом пути. Основная дисциплина меняется медленно: четко определяйте успех, охватывайте реальные ресурсы, используйте достаточно случаев, чтобы доверять цифрам, и регулярно обновляйте набор после производства.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Building an LLM Eval Dataset quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое создание набора оценочных данных LLM?

Набор оценочных данных LLM — это тщательно подобранный набор реалистичных входных данных, каждый из которых сочетается с золотым ответом, справочными фактами или критериями оценки, с которыми вы запускаете свое приложение для измерения качества и выявления регрессий. Это важно, поскольку изменение подсказки, модели или извлечения данных может улучшить одно поведение и нарушить другое. Без фиксированного набора тестов командам приходится оценивать изменения по нескольким тщательно подобранным примерам.

Что руководство рекомендует в качестве наилучшего исходного источника для случаев оценки?

Реальное использование отражает то, что люди на самом деле спрашивают, включая беспорядочные формулировки. Синтетические чехлы являются проверенным дополнением, а не заменой.

Когда рубрика более уместна, чем один золотой ответ?

Открытые результаты, такие как сводки, не могут быть точно сопоставлены. Конкретные, проверяемые критерии позволяют оценщикам последовательно оценивать их.

Что из этого является хорошо написанным критерием рубрики?

Хороший критерий конкретен и проверяем. Расплывчатые критерии, такие как «полезно», приводят к противоречивым оценкам как людей, так и моделей.

Что говорит руководство о допуске на погрешность, учитывая 100 случаев «пройдено/не пройдено» и процент сдачи около 80 процентов?

При 95-процентной уверенности разница при этом размере составляет около 8 пунктов. Небольшим различиям между версиями нельзя доверять без большего количества случаев.

Какова цель среза регрессии?

Добавление каждого исправленного сбоя в набор данных означает, что последующие изменения не смогут незаметно повторно ввести ту же ошибку.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →