ДалееСледующее руководство
Показатели оценки ROUGE и BLEU
Технический
Техническое РУКОВОДСТВО
При оценке RAG система генерации с расширенным поиском оценивается отдельно при поиске и при генерации, чаще всего по четырем показателям: достоверность, релевантность ответа, точность контекста и отзыв контекста.
Прослушайте это руководствоОзвучено ИИ · ~3 min
RAGAS — это платформа с открытым исходным кодом, которая рассчитывает эти показатели, в основном используя степень магистра в качестве судьи. Отдельные оценки имеют значение, поскольку они показывают, был ли плохой ответ получен из-за выбора неправильных отрывков или из-за неправильного использования правильных.
Система RAG может дать сбой в двух местах: при поиске могут быть получены неправильные отрывки, а при генерации могут игнорироваться или искажаться правильные. Единая общая оценка качества скрывает происходящее, поэтому оценка RAG разделяет конвейер на измеримые части. RAGAS, платформа с открытым исходным кодом, представленная в статье Эса и его коллег в 2023 году, популяризировала набор основных показателей, охватывающих обе половины. Верность спрашивает, подтверждается ли каждое утверждение в ответе полученным контекстом; он улавливает галлюцинацию, даже когда ответ кажется правдоподобным. Релевантность ответа спрашивает, действительно ли ответ касается вопроса, наказывая уклончивые или дополненные ответы. Контекстная точность определяет, находятся ли извлеченные важные фрагменты наверху, а не затеряны среди шума. При вызове контекста спрашивается, содержит ли извлеченный контекст все необходимое для получения эталонного ответа, поэтому для каждого тестового вопроса требуется достоверный ответ. Большинство этих оценок рассчитываются LLM, выступающим в качестве судьи, и разбиваются на небольшие этапы. Для достоверности судья извлекает из ответа отдельные утверждения и сверяет каждое с контекстом; оценка — это поддерживаемая дробь. Для релевантности ответа RAGAS генерирует вопросы, на которые будет отвечать ответ, и сравнивает их с исходным вопросом, используя встраивания. Похожие идеи появляются и в других инструментах, таких как триада TruLens RAG (контекстная релевантность, обоснованность и релевантность ответа) и DeepEval. Распространены два заблуждения. Во-первых, верный не значит правильный: ответ может точно повторять устаревший или неправильный документ. Во-вторых, оценки судей LLM не являются достоверной истиной. Они различаются в зависимости от модели судьи и подсказки, поэтому команды выборочно проверяют их на соответствие человеческим ярлыкам и сравнивают системы при идентичных настройках, а не рассматривают оценку вроде 0,85 как абсолютную оценку.
Помощник банка по вопросам политики получает 0,95 за контекстное запоминание, но 0,70 за достоверность, что говорит о том, что групповой поиск в порядке и модель добавляет неподдерживаемые детали, поэтому они ужесточают подсказку, а не перестраивают индекс.
Команда поддержки сравнивает две модели внедрения в одном и том же наборе тестов из 200 вопросов и оставляет ту, у которой более высокая контекстная запоминаемость и точность контекста.
Больничный инструмент знаний оценивает достоверность на основе ежедневной выборки реальных вопросов и помечает ответы с неподтвержденными утверждениями для проверки человеком, прежде чем ситуация распространится.
Стартап добавляет средство изменения ранжирования после того, как увидел высокую запоминаемость контекста, но низкую точность контекста. Это означает, что правильные фрагменты были извлечены, но ранжированы ниже нерелевантных.
Оценка RAG переходит от случайных автономных отчетов к постоянным проверкам, при которых оценивается выборка производственного трафика, а регрессии вызывают оповещения. В фреймворки добавляются метрики для многоходовых диалогов, использования агентов и инструментов, а определения метрик меняются в зависимости от версии библиотеки, поэтому закрепление версий важно для сопоставимых результатов. Самая большая открытая проблема — надежность судей: судьи LLM могут проявлять предвзятость, например, отдавать предпочтение более длинным ответам, а согласие с рецензентами варьируется в зависимости от области. Калибровка судей по небольшим наборам данных, размеченным человеком, и сопоставление их с детерминированными метриками поиска, вероятно, останется хорошей практикой.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
При оценке RAG система генерации с расширенным поиском оценивается отдельно при поиске и при генерации, чаще всего по четырем показателям: достоверность, релевантность ответа, точность контекста и отзыв контекста. RAGAS — это платформа с открытым исходным кодом, которая рассчитывает эти показатели, в основном используя степень магистра в качестве судьи. Отдельные оценки имеют значение, поскольку они показывают, был ли плохой ответ получен из-за выбора неправильных отрывков или из-за неправильного использования правильных.
Верность измеряет долю утверждений об ответах, подкрепленных контекстом, нацеленным на галлюцинации.
Вызов контекста проверяет, содержит ли полученный контекст то, что необходимо для ссылочного ответа, поэтому ссылка должна существовать.
Точность контекста вознаграждает за размещение полезных фрагментов на высоких позициях в рейтинге, а не закапывание их среди ненужных.
Если вопросы, порожденные ответом, напоминают реальный вопрос, ответ соответствует теме; вложения измеряют это сходство.
Правильные фрагменты извлекаются, но ранжируются плохо, и это проблема ранжирования, которую часто решает реранкер.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Показатели оценки ROUGE и BLEU
Технический