Оперативное кэширование
Оперативное кэширование позволяет модели ИИ повторно использовать вычислительную работу, которую она выполнила над повторяющимся фрагментом текста, вместо того, чтобы каждый раз повторно обрабатывать его.
Обзор
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
Глубокое погружение
Когда языковая модель считывает подсказку, она преобразует каждый токен во внутренние числовые состояния, называемые векторами ключ-значение (KV), через свои уровни внимания. Обычно это происходит заново при каждом запросе, даже если 90% подсказок идентичны. При кэшировании подсказок сохраняются предварительно вычисленные состояния KV для отмеченного префикса, поэтому более поздний запрос, начинающийся с того же текста, может перейти прямо к новой части. Такие поставщики, как Anthropic и OpenAI, демонстрируют это, позволяя вам пометить стабильный префикс; Обращения в кэш оплачиваются с большой скидкой (часто 90 % от входной стоимости) и реагируют быстрее. Он идеально подходит для чат-ботов с фиксированными системными подсказками, конвейеров RAG, повторно использующих одни и те же документы, или агентов, воспроизводящих длинные истории.
Техническая информация
Кэширование работает, потому что внимание преобразователя является причинным: каждый токен обрабатывает только те токены, которые находятся перед ним. Таким образом, состояния KV для префикса никогда не изменяются при последующем добавлении новых токенов. Кэш настроен на точное совпадение токена с этим префиксом, поэтому даже односимвольное редактирование в начале приглашения делает недействительным все последующие действия. Кэши недолговечны (минуты), хранятся у каждого провайдера, а кэшируемый блок обычно должен превышать минимальное количество токенов.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее быстрого кэширования
Ожидается, что кэширование станет автоматическим и более долговечным, поскольку поставщики будут обнаруживать многоразовые интервалы вместо необходимости использовать маркеры вручную. Иерархическое и частичное кэширование может позволить вносить изменения в середине приглашения повторно использовать неизмененные сегменты с обеих сторон. Поскольку агенты манипулируют огромными контекстами и историями инструментов, общие кэши между сеансами и пользователями для общих системных подсказок будут ключом к тому, чтобы сделать контексты с миллионами токенов экономически жизнеспособными, а модели на устройствах будут использовать аналогичное повторное использование KV для быстрого локального вывода.
Реальная реализация
Чат-бот службы поддержки клиентов кэширует свою политику в 5000 токенов и подсказку системы тональных сигналов, поэтому за каждое сообщение пользователя приходится платить полную цену только за новый вопрос.
Приложение с расширенным поиском (RAG) кэширует большой справочный документ один раз, а затем отвечает на множество вопросов о нем за небольшую часть затрат.
Помощник по программированию кэширует содержимое большой базы кода или файла в виде фиксированного префикса, пока разработчик задает последовательные дополнительные вопросы.
Агент ИИ кэширует свою длинную и растущую расшифровку использования инструментов, поэтому каждый новый шаг не требует повторного выставления счета за весь предыдущий разговор.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Оперативная безопасность с использованием искусственного интеллекта
Часто задаваемые вопросы
What is Prompt Caching?
Оперативное кэширование позволяет модели ИИ повторно использовать вычислительную работу, которую она выполнила над повторяющимся фрагментом текста, вместо того, чтобы каждый раз повторно обрабатывать его. Это значительно сокращает затраты и задержки, когда одни и те же длинные инструкции, документы или примеры появляются в запросе за запросом.
Что в первую очередь сохраняет и повторно использует кэширование подсказок?
Кэширование сохраняет состояния внимания KV, вычисленные для стабильного префикса, поэтому их не нужно пересчитывать при каждом запросе.
Почему кэшированный префикс должен точно совпадать, токен за токеном?
Поскольку каждый токен обслуживает только более ранние токены, изменение раннего токена делает недействительным каждое зависящее от него состояние, нарушая кэш.
Какой сценарий БОЛЬШЕ всего выигрывает от оперативного кэширования?
Кэширование окупается, когда большой идентичный фрагмент повторно используется во многих запросах, например, в фиксированном системном приглашении или общем документе.
Насколько примерно дешевле обходятся попадания в кэш входных токенов у крупных провайдеров?
Провайдеры обычно выставляют счет за кешированный ввод примерно на 90 % ниже обычной скорости ввода. Это основная причина, по которой кэширование экономит деньги.
Где следует размещать повторно используемый контент, чтобы максимизировать попадание в кеш?
Размещение стабильного содержимого первым в качестве префикса, а затем изменяющегося содержимого позволяет повторно использовать кэшированный префикс при обработке только новых токенов.