ДалееСледующее руководство
Платформы LLM Eval: Promptfoo и DeepEval
Технический
Техническое РУКОВОДСТВО
Набор оценочных данных LLM — это тщательно подобранный набор реалистичных входных данных, каждый из которых сочетается с золотым ответом, справочными фактами или критериями оценки, с которыми вы запускаете свое приложение для измерения качества и выявления регрессий.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку изменение подсказки, модели или извлечения данных может улучшить одно поведение и нарушить другое. Без фиксированного набора тестов командам приходится оценивать изменения по нескольким тщательно подобранным примерам.
Начните с реального использования. Журналы, заявки в службу поддержки, поисковые запросы и интервью с пользователями показывают, что на самом деле спрашивают люди, включая беспорядочные формулировки, которые упускаются из виду в придуманных примерах. Перед запуском попросите экспертов в предметной области написать входные данные. Вы можете добавлять синтетические кейсы, созданные LLM, при условии, что человек просматривает их и удаляет нереалистичные или повторяющиеся элементы. Затем определите, что означает «правильный» для каждого случая. Некоторые задачи имеют один правильный ответ, например, классификация, извлечение или поиск фактов. Для этого сохраните золотой ответ, который можно будет сравнить точно или после легкой нормализации. Для открытых задач напишите рубрику с конкретными проверяемыми критериями, например «упоминает крайний срок возврата средств» или «не рекомендует конкурента». Расплывчатые критерии, такие как «полезно», приводят к противоречивым оценкам, независимо от того, является ли оценщик человеком или моделью судьи. Затем намеренно охватите диапазон реальных входных данных. Отмечайте дела по намерению, сложности, языку и типу пользователя и проверяйте, представлены ли важные группы. Добавьте крайние случаи и состязательные входные данные: - неоднозначные вопросы - запросы с отсутствующей информацией - очень длинные входные данные - запросы, выходящие за рамки области применения, которые следует отклонять - попытки быстрого внедрения Сохраняйте срез регрессии, составленный из прошлых неудач. Размер набора соответствует решению, которое он должен поддерживать. Несколько десятков хорошо отобранных случаев могут выявить серьезные проблемы на ранней стадии. Для надежного обнаружения небольших различий требуется больше усилий. При 100 случаях «пройдено/не пройдено» и проценте «пройдено» около 80 процентов погрешность составляет примерно плюс-минус 8 процентных пунктов при доверительной вероятности 95 процентов. Улучшение на два пункта неотличимо от шума такого размера. Сообщайте о результатах для каждого среза, а не только об общем среднем значении. Распространенной ошибкой является считать набор данных завершенным. Продукты и пользователи меняются, поэтому обновите их из новых журналов. Оставьте оставленную часть, на которую вы никогда не настроитесь, чтобы ваши подсказки не соответствовали тесту.
Команда поддержки экспортирует 300 реальных заявок с удаленными личными данными, помечает правильное разрешение для каждой и сравнивает с ними каждую новую версию запроса.
Для итогового отчета встречи, в котором многие формулировки верны, команда составляет рубрику: охватывает три ключевых решения, не делает необоснованных заявлений, не превышает 150 слов.
Команда добавляет крайние случаи: пустой ввод, вопрос на испанском языке, документ, содержащий попытку быстрой инъекции, и запрос, выходящий за рамки области действия, который помощник должен отклонить.
Когда пользователь сообщает о неправильном ответе в рабочей среде, случай попадает в набор данных с правильным ответом, поэтому с этого момента исправление остается проверенным.
Инструментарий Eval быстро усовершенствовался. Фреймворки с открытым исходным кодом и размещенные платформы теперь управляют наборами данных, запускают оценщики и отслеживают результаты с течением времени. Генерация синтетических данных, вероятно, будет продолжать совершенствоваться, что удешевит покрытие редких случаев. Он не может заменить реальные действия пользователя в качестве якоря для того, что имеет значение. Поскольку приложения становятся более агентными, наборы оценки все чаще включают в себя многоэтапные задачи, оцениваемые как по конечному результату, так и по шагам, предпринятым на этом пути. Основная дисциплина меняется медленно: четко определяйте успех, охватывайте реальные ресурсы, используйте достаточно случаев, чтобы доверять цифрам, и регулярно обновляйте набор после производства.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Набор оценочных данных LLM — это тщательно подобранный набор реалистичных входных данных, каждый из которых сочетается с золотым ответом, справочными фактами или критериями оценки, с которыми вы запускаете свое приложение для измерения качества и выявления регрессий. Это важно, поскольку изменение подсказки, модели или извлечения данных может улучшить одно поведение и нарушить другое. Без фиксированного набора тестов командам приходится оценивать изменения по нескольким тщательно подобранным примерам.
Реальное использование отражает то, что люди на самом деле спрашивают, включая беспорядочные формулировки. Синтетические чехлы являются проверенным дополнением, а не заменой.
Открытые результаты, такие как сводки, не могут быть точно сопоставлены. Конкретные, проверяемые критерии позволяют оценщикам последовательно оценивать их.
Хороший критерий конкретен и проверяем. Расплывчатые критерии, такие как «полезно», приводят к противоречивым оценкам как людей, так и моделей.
При 95-процентной уверенности разница при этом размере составляет около 8 пунктов. Небольшим различиям между версиями нельзя доверять без большего количества случаев.
Добавление каждого исправленного сбоя в набор данных означает, что последующие изменения не смогут незаметно повторно ввести ту же ошибку.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Платформы LLM Eval: Promptfoo и DeepEval
Технический