Termo do glossário de IA

O que é Amostragem Top-k?

Definição

Uma estratégia de decodificação que faz amostras apenas dos k próximos tokens mais prováveis.

Navegue pelo glossário completo de IAExplore todos os guias gratuitos de IA

Termos relacionados

Amostragem Top-p (Núcleo)Uma estratégia de decodificação que faz amostras do menor conjunto de tokens cujas probabilidades somam p.Decodificação ProtegidaUma estratégia de geração que restringe tokens de saída a estruturas válidas ou escolhas compatíveis com políticas.Aprendizagem rápidaAprender ou adaptar comportamento a partir de apenas um pequeno número de exemplos.PerplexityUma métrica de modelo de linguagem que mede o quão surpreso o modelo fica com os próximos tokens verdadeiros.Decodificação EspeculativaUm método de aceleração de inferência em que um modelo pequeno propõe tokens que um modelo maior verifica em paralelo.Cache KVTensores de chave e valor armazenados de tokens anteriores que permitem que os transformadores gerem novos tokens sem recalcular a atenção anterior.

Saiba mais em nossos guias gratuitos

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Veja também

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt