Termo do glossário de IA

O que é Cache KV?

Definição

Tensores de chave e valor armazenados de tokens anteriores que permitem que os transformadores gerem novos tokens sem recalcular a atenção anterior.

Termos relacionados

Aprendizagem Contínua
Abordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.
Amostragem Top-k
Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.
Aprendizagem não supervisionada
Padrões de aprendizagem a partir de dados não rotulados sem resultados alvo explícitos.
Atenção à janela deslizante
Um padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.
Peça de frase
Um tokenizer independente de idioma que aprende unidades de subpalavras diretamente do texto bruto, sem pré-divisão em espaços em branco.
Penalidade de presença
Uma configuração de decodificação que reduz a probabilidade de aparecimento de tokens, incentivando novos tópicos.

Saiba mais em nossos guias gratuitos

KV CacheKV Cache Optimization

Veja também

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA