Termo do glossário de IA

O que é Cache KV?

Definição

Tensores de chave e valor armazenados de tokens anteriores que permitem que os transformadores gerem novos tokens sem recalcular a atenção anterior.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Aprendizagem ContínuaAbordagens de treinamento que permitem que um modelo continue aprendendo com novos dados sem esquecer o conhecimento prévio.Amostragem Top-kUma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.Aprendizagem não supervisionadaPadrões de aprendizagem a partir de dados não rotulados sem resultados alvo explícitos.Atenção à janela deslizanteUm padrão de atenção em que cada token atende apenas a uma janela de tamanho fixo de tokens próximos para reduzir a computação.Peça de fraseUm tokenizer independente de idioma que aprende unidades de subpalavras diretamente do texto bruto, sem pré-divisão em espaços em branco.Penalidade de presençaUma configuração de decodificação que reduz a probabilidade de aparecimento de tokens, incentivando novos tópicos.

Saiba mais em nossos guias gratuitos

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Veja também

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts