ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический
Техническое РУКОВОДСТВО
Корректирующий RAG (CRAG) — это метод генерации с расширенным поиском, который проверяет, насколько релевантны полученные документы перед ответом, и предпринимает корректирующие действия, когда поиск выглядит слабым, например уточнение документов, переписывание запроса или поиск в Интернете.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это важно, поскольку стандартный RAG передает все, что он получает, в модель, а нерелевантные или вводящие в заблуждение документы являются основной причиной неправильных, уверенно сформулированных ответов.
CRAG was introduced in the 2024 paper "Corrective Retrieval Augmented Generation" by Shi-Qi Yan and colleagues. It targets a basic weakness of standard RAG: the generator trusts the retriever. If the top documents are off-topic, outdated or only loosely related, the model often answers anyway. The paper's design adds a lightweight retrieval evaluator, a fine-tuned T5-large model in the original work, which scores each retrieved document for relevance to the question. Based on those scores, the system picks one of three actions. If at least one document is judged clearly relevant, the action is Correct: the documents go through knowledge refinement, a decompose-then-recompose step that splits them into small strips, scores each strip, and keeps only the useful ones. If all documents score low, the action is Incorrect: the retrieved documents are discarded, the question is rewritten into search-engine-style keywords, and web search results are used instead, again refined. If the evaluator is unsure, the action is Ambiguous, and the system combines refined internal knowledge with web results. The authors presented CRAG as plug-and-play: it can wrap standard RAG or other methods such as Self-RAG, and they reported improvements on several short-form and long-form generation benchmarks. In practice, many teams implement CRAG-style pipelines without the original fine-tuned evaluator, using an LLM prompt to grade relevance and a graph or agent framework (LangGraph has a well-known CRAG tutorial) to route between steps. Common misconceptions: CRAG does not verify that the final answer is correct; it grades retrieval inputs. Web search is not automatically better, since it can bring in low-quality sources. And grading adds latency and cost to every query.
Бот службы поддержки компании извлекает три фрагмента политики для вопроса об отпуске по уходу за ребенком, оценщик не находит ни одного релевантного, а система переписывает запрос и выполняет поиск снова, вместо того чтобы ответить на неправильную политику.
Помощник по медицинской информации оценивает извлеченные отрывки, сохраняет только те предложения, в которых упоминается препарат, о котором спрашивал пользователь, и отбрасывает окружающий текст о других препаратах перед созданием.
Инструмент вопросов и ответов по новостям обнаруживает, что его внутренний архив не освещает совсем недавнее событие, и возвращается к поиску текущих статей в Интернете.
Прототип юридического исследования маркирует поиск как неоднозначный, когда документы релевантны лишь частично, и объединяет уточненные внутренние отрывки со свежими результатами поиска, прежде чем дать ответ.
Идея CRAG, заключающаяся в проверке качества извлечения и соответствующей маршрутизации, стала общепринятой схемой в агентных системах RAG, где модель решает, следует ли выполнить повторный поиск, выполнить поиск в другом месте или ответить. Будущая работа, вероятно, будет сосредоточена на более дешевых и лучше откалиброванных средствах оценки релевантности, а также на сочетании проверок входных данных с проверками выходных данных, таких как проверка того, что ответ подтверждается сохраненными доказательствами. Конкретная схема из трех действий со временем может иметь меньшее значение, чем более широкий принцип, согласно которому полученный контекст должен оцениваться, а не доверяться автоматически.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Корректирующий RAG (CRAG) — это метод генерации с расширенным поиском, который проверяет, насколько релевантны полученные документы перед ответом, и предпринимает корректирующие действия, когда поиск выглядит слабым, например уточнение документов, переписывание запроса или поиск в Интернете. Это важно, поскольку стандартный RAG передает все, что он получает, в модель, а нерелевантные или вводящие в заблуждение документы являются основной причиной неправильных, уверенно сформулированных ответов.
Стандартный RAG передает извлеченные документы в модель независимо от их релевантности, что может привести к уверенным неправильным ответам. CRAG сначала оценивает извлечение.
В документе использовалась облегченная и точно настроенная модель T5-Large для оценки релевантности документа.
Действие «Неверно» отбрасывает документы, переписывает вопрос в поисковые запросы и использует уточненные веб-результаты.
Уточнение знаний разбивает документы на небольшие полосы, оценивает их и перекомпоновывает только полезные части для генератора.
Неоднозначное действие объединяет оба источника, чтобы застраховаться от неопределенности в суждении оценщика.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Метрики оценки RAG и RAGAS
Технический