Кеширане на подкани
Бързото кеширане позволява на AI модел да използва повторно изчислителната работа, която е извършил върху повтаряща се част от текста, вместо да го обработва повторно всеки път.
Преглед
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
Дълбоко гмуркане
Когато езиков модел прочете подкана, той преобразува всеки токен във вътрешни числови състояния, наречени вектори ключ-стойност (KV) чрез своите слоеве за внимание. Обикновено това се случва ново при всяка заявка, дори ако 90% от подканата е идентична. Подканващото кеширане съхранява тези предварително изчислени KV състояния за маркиран префикс, така че по-късна заявка, която започва със същия текст, може да прескочи направо към новата част. Доставчици като Anthropic и OpenAI разкриват това, като ви позволяват да маркирате стабилен префикс; посещенията в кеша се таксуват с голяма отстъпка (често 90% отстъпка от входните разходи) и реагират по-бързо. Той е идеален за чатботове с фиксирани системни подкани, RAG тръбопроводи, използващи повторно едни и същи документи, или агенти, възпроизвеждащи дълги истории.
Техническа информация
Кеширането работи, защото вниманието на трансформатора е причинно-следствено: всеки токен обръща внимание само на токени преди него. Така че KV състоянията за префикс никога не се променят, когато добавите нови токени след това. Кешът се задейства при точно съвпадение токен за токен на този префикс, поради което дори редактиране с един знак в началото на подканата обезсилва всичко надолу по веригата. Кешовете са краткотрайни (минути), съхраняват се за всеки доставчик и кешираният блок обикновено трябва да надвишава минималния брой токени.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на бързото кеширане
Очаквайте кеширането да стане автоматично и по-дълготрайно, като доставчиците откриват участъци за многократна употреба, вместо да изискват ръчни маркери. Йерархичното и частичното кеширане може да позволи редакциите в средата на подканата да използват повторно непроменени сегменти от двете страни. Тъй като агентите жонглират с огромни контексти и истории на инструменти, споделените кешове между сесии и между потребители за общи системни подкани ще бъдат от ключово значение за превръщането на контекстите с милиони токени в икономически жизнеспособни, а моделите на устройствата ще приемат подобна повторна употреба на KV за бърз локален извод.
Внедряване в реалния свят
Чатботът за поддръжка на клиенти кешира своята политика от 5000 токена и подканата на системата за тонове, така че всяко потребителско съобщение плаща пълната цена само за новия въпрос.
Приложение с разширено извличане (RAG) кешира голям справочен документ веднъж, след което отговаря на много въпроси за него на малка част от цената.
Асистентът за кодиране кешира съдържанието на голяма кодова база или файл като фиксиран префикс, докато разработчикът задава последователни последващи въпроси.
AI агент кешира своя дълъг, нарастващ препис за използване на инструменти, така че всяка нова стъпка да не таксува повторно целия предишен разговор.
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
AI бърза сигурност
Frequently asked questions
What is Prompt Caching?
Бързото кеширане позволява на AI модел да използва повторно изчислителната работа, която е извършил върху повтаряща се част от текста, вместо да го обработва повторно всеки път. Той драматично намалява разходите и забавянето, когато едни и същи дълги инструкции, документи или примери се появяват в заявка след заявка.
Какво основно съхранява и използва повторно кеширането на подкани?
Кеширането запазва състоянията на внимание на KV, изчислени за стабилен префикс, така че не е необходимо да се преизчисляват при всяка заявка.
Защо кешираният префикс трябва да съвпада точно, токен за токен?
Тъй като всеки токен се отнася само за по-ранни токени, промяната на ранен токен обезсилва всяко състояние, което зависи от него, нарушавайки кеша.
Кой сценарий има НАЙ-МНОГО ползи от бързото кеширане?
Кеширането се изплаща, когато голяма, идентична част се използва повторно в много заявки, като фиксирана системна подкана или споделен документ.
Приблизително колко по-евтини са посещенията в кеша на входните токени при основните доставчици?
Доставчиците обикновено таксуват кеширани входни данни с около 90% от нормалната входна скорост, основната причина, поради която кеширането спестява пари.
Къде трябва да бъде поставено съдържанието за многократна употреба, за да се увеличат максимално посещенията в кеша?
Поставянето на стабилно съдържание първо като префикс и променящото се съдържание след това позволява повторното използване на кеширания префикс, докато се обработват само нови токени.