Техническое РУКОВОДСТВО

Генерация с расширенным кэшем (CAG)

Генерация с расширенным кешем (CAG) предварительно загружает всю фиксированную базу знаний в кеш-ключ-значение (KV) языковой модели один раз и повторно использует этот кеш для каждого вопроса вместо извлечения документов для каждого запроса, как это делает RAG.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее генерации с расширенным кэшем (CAG)
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Это важно для небольших стабильных корпораций, поскольку устраняет ошибки поиска и обслуживания индексов, при этом отвечая быстрее, чем каждый раз перечитывая документы.

Глубокое погружение

Генерация с расширенным кэшем (CAG) заменяет этап извлечения предварительной загрузкой. Вместо поиска в базе знаний для каждого вопроса система один раз передает всю базу знаний в модель, сохраняет полученный кеш «ключ-значение» (KV) и повторно использует этот кеш для каждого последующего запроса. Этот подход был описан в статье от декабря 2024 года под названием «Не делайте RAG: когда генерация с дополненным кэшем — это все, что вам нужно для задач знаний». Кэш KV представляет собой набор промежуточных ключей внимания и значений, которые преобразователь вычисляет для каждого прочитанного токена. Обычно он создается во время одного запроса и отбрасывается. В CAG документы обрабатываются заранее, сохраняется кеш, и каждый вопрос добавляется после кешированного префикса. Модель только вычисляет новые токены вопросов перед генерацией, поэтому ответы начинаются быстрее, чем если бы документы каждый раз перечитывались. После ответа добавленные токены усекаются, поэтому кэш возвращается в состояние «только документы» для следующего запроса. Преимущества заключаются в отсутствии ошибок при извлечении, поскольку каждый документ всегда присутствует, не требуется встраивание индекса или базы данных векторов, а также меньшая задержка на каждый запрос, чем в простом длинном контексте. Ограничения следуют напрямую: весь корпус должен помещаться в контекстном окне модели, модель должна по-прежнему хорошо анализировать такой большой объем текста, а любое изменение документов означает перестройку кэша. Таким образом, CAG подходит для небольших, стабильных баз знаний, таких как руководство по продукту, набор политик, учебная программа или фиксированный нормативный текст. Он плохо подходит для больших, быстро меняющихся коллекций или коллекций с фильтрацией разрешений. Распространенным заблуждением является то, что CAG обучает модель. Ничего не настроено; веса не изменились. Коммерческое кэширование подсказок от поставщиков API является размещенным родственником той же идеи.

Реальная реализация

Компания, имеющая 60-страничный справочник сотрудников, предварительно загружает его в KV-кэш модели с открытым весом, поэтому на каждый вопрос отдела кадров можно получить ответ, имея в наличии полный справочник и не требуя обслуживания векторной базы данных.

Поставщик программного обеспечения кэширует руководство по продукту для помощника службы поддержки и восстанавливает кэш только при выпуске новой версии руководства.

Преподаватель предварительно загружает программу курса и конспекты лекций, чтобы ассистент мог быстро отвечать на вопросы студентов в течение семестра.

Группа обеспечения соответствия требованиям использует кэширование запросов размещенного API, чтобы сохранять фиксированный нормативный текст в виде кешированного префикса, платя сниженные ставки за повторное чтение многих вопросов.

Будущее генерации с расширенным кэшем (CAG)

Практический диапазон CAG растет по мере увеличения контекстных окон и улучшения сжатия KV-кэша, но он остается ограниченным памятью и тем, насколько хорошо модели обрабатывают очень длинные входные данные. Гибридные конструкции — это естественный следующий шаг: кэшируйте стабильное ядро ​​часто необходимых документов и извлекайте «длинный хвост» по требованию. Исследования по сжатию кеша, разгрузке кешей в более дешевое хранилище и выбору токенов, которые следует сохранить, могут сделать работоспособными более крупные предварительно загруженные корпуса. На данный момент разумный тест является эмпирическим: сравните CAG, RAG и простой длинный контекст по вашим собственным вопросам, затратам и частоте обновлений.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Cache-Augmented Generation (CAG) quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое генерация с расширенным кэшем (CAG)?

Генерация с расширенным кешем (CAG) предварительно загружает всю фиксированную базу знаний в кеш-ключ-значение (KV) языковой модели один раз и повторно использует этот кеш для каждого вопроса вместо извлечения документов для каждого запроса, как это делает RAG. Это важно для небольших стабильных корпораций, поскольку устраняет ошибки поиска и обслуживания индексов, при этом отвечая быстрее, чем каждый раз перечитывая документы.

Что использует CAG вместо получения данных по каждому запросу?

CAG заранее вычисляет кэш KV для корпуса и повторно использует его для каждого запроса.

Что такое КВ-кэш в трансформаторе?

Ключи и значения из слоев внимания кэшируются, поэтому более ранние токены не нужно пересчитывать.

Почему система CAG обрезает кеш после каждого ответа?

Удаление добавленных токенов сбрасывает кеш в чистое предварительно загруженное состояние для следующего вопроса.

Каково основное ограничение CAG?

Поскольку каждый документ предварительно загружен, корпус ограничен контекстным окном и доступной памятью.

Почему CAG отвечает быстрее, чем вставляет документы в каждый запрос?

Вычисления документов уже выполнены и сохранены, поэтому для каждого запроса обрабатывается только вопрос.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →