Término del glosario de IA

¿Qué es Muestreo Top-k?

Definición

Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Muestreo Top-p (Núcleo)Una estrategia de decodificación que toma muestras del conjunto de tokens más pequeño cuyas probabilidades suman p.Decodificación vigiladaUna estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.Aprendizaje en pocas oportunidadesAprender o adaptar el comportamiento a partir de sólo un pequeño número de ejemplos.PerplexityUna métrica del modelo de lenguaje que mide cuán sorprendido está el modelo por los próximos tokens verdaderos.Decodificación especulativaUn método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.Caché KVTensores de clave y valor almacenados de tokens anteriores que permiten a los transformadores generar nuevos tokens sin volver a calcular la atención pasada.

Obtenga más información en nuestras guías gratuitas.

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Véase también

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt