ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический
Техническое РУКОВОДСТВО
ROUGE и BLEU — это мощные автоматические метрики для сравнения машинного текста с человеческими.
Прослушайте это руководствоОзвучено ИИ · ~2 min
BLEU was built for translation and leans on precision; ROUGE was built for summarization and leans on recall.
Обе метрики измеряют перекрытие n-грамм между текстом-кандидатом и одним или несколькими справочными текстами, но они подчеркивают разные направления. BLEU (Дублер двуязычной оценки) вычисляет модифицированную точность n-грамм (обычно от 1 до 4 граммов), умножает их геометрически и применяет штраф за краткость, поэтому система не может обмануть результат, выдавая очень короткие выходные данные. Вместо этого ROUGE (Recall-Oriented Understudy for Gisting Evaluation) предпочитает отзыв: ROUGE-N подсчитывает перекрывающиеся n-граммы, ROUGE-L использует самую длинную общую подпоследовательность для вознаграждения за совпадения по порядку, не требуя непрерывности. BLEU спрашивает: «Какая часть того, что сказала система, верно?» в то время как ROUGE спрашивает: «Какую часть ссылок уловила система?». Оба варианта дешевы и воспроизводимы, но видят лишь поверхностное совпадение слов, отсутствие парафраза и смысла.
Исследователи машинного перевода сообщают об оценках BLEU по тестам WMT для сравнения качества системы.
В сводных документах сообщается о ROUGE-1, ROUGE-2 и ROUGE-L в наборе данных CNN/DailyMail.
Команда инженеров отслеживает BLEU в CI, чтобы обнаружить регрессии при точной настройке модели перевода.
Продукт суммирования использует ROUGE-L в качестве дешевой автоматической проверки перед проведением более дорогостоящей оценки человеком.
Поскольку метрики n-грамм вознаграждают за точные совпадения слов, они недооценивают действительные перефразирования и беглые переписывания, что становится растущей проблемой, поскольку выходные данные LLM лексически расходятся со ссылками. Метрики, основанные на внедрении, такие как BERTScore, и изученные метрики, такие как BLEURT и COMET, а также оценка LLM как судьи, все чаще дополняют или заменяют их. Тем не менее, ROUGE и BLEU остаются такими же быстрыми и прозрачными базовыми показателями, о которых сообщается почти в каждой статье.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
ROUGE и BLEU — это мощные автоматические метрики для сравнения машинного текста с человеческими. BLEU создан для перевода и отличается точностью; ROUGE создан для подведения итогов и основан на запоминании.
BLEU был создан для перевода и основан на модифицированной n-граммной точности со штрафом за краткость.
ROUGE означает дублер, ориентированный на припоминание, для Gisting Evaluation и подчеркивает, какая часть ссылок фиксируется.
Штраф за краткость снижает BLEU, когда кандидат короче эталонного, не позволяя системам повышать точность из-за краткости вывода.
ROUGE-L использует самую длинную общую подпоследовательность, поощряя совпадения по порядку, допуская при этом пробелы.
Оба полагаются на точное совпадение слов и n-грамм, поэтому они недооценивают действительные парафразы, которые лексически отличаются от ссылки.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический