What is KV Cache? Definition | AI Understanding

Definicja

Przechowywane tensory klucza i wartości z poprzednich tokenów, które pozwalają transformatorom generować nowe tokeny bez ponownego obliczania uwagi z przeszłości.

Powiązane terminy

Podejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.

Próbkowanie z góry k

Strategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.

Uczenie się bez nadzoru

Wzorce uczenia się na podstawie nieoznaczonych danych bez wyraźnych docelowych wyników.

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Fragment zdania

Tokenizator niezależny od języka, który uczy się jednostek podsłów bezpośrednio z nieprzetworzonego tekstu bez wstępnego dzielenia na białe znaki.

Kara za obecność

Ustawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów w ogóle, zachęcając do nowych tematów.

Dowiedz się więcej z naszych bezpłatnych przewodników

KV Cache KV Cache Optimization

Zobacz także

Speculative Decoding MCP (Model Context Protocol)Zero Data Retention Agentic Loop Usage-Based Billing ReAct Trust Calibration Tree of Thoughts

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI