Termin ze słownika AI

Czym jest Pamięć podręczna KV?

Definicja

Przechowywane tensory klucza i wartości z poprzednich tokenów, które pozwalają transformatorom generować nowe tokeny bez ponownego obliczania uwagi z przeszłości.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Ciągła naukaPodejścia szkoleniowe, które pozwalają modelowi uczyć się na nowych danych, nie zapominając o wcześniejszej wiedzy.Próbkowanie z góry kStrategia dekodowania, która pobiera próbki tylko z k najprawdopodobniej kolejnych tokenów.Uczenie się bez nadzoruWzorce uczenia się na podstawie nieoznaczonych danych bez wyraźnych docelowych wyników.Uwaga na przesuwane oknoWzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.Fragment zdaniaTokenizator niezależny od języka, który uczy się jednostek podsłów bezpośrednio z nieprzetworzonego tekstu bez wstępnego dzielenia na białe znaki.Kara za obecnośćUstawienie dekodowania, które zmniejsza prawdopodobieństwo pojawienia się tokenów w ogóle, zachęcając do nowych tematów.

Dowiedz się więcej z naszych bezpłatnych przewodników

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Zobacz także

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts