Aprender Noticias Herramientas Empleos Misión

Término del glosario de IA

¿Qué es Penalización por repetición?

Definición

Una configuración de decodificación que reduce la probabilidad de tokens que el modelo ya ha producido para reducir los bucles.

Explore el glosario completo de IA Explora todas las guías gratuitas de IA

Penalización de frecuenciaUna configuración de decodificación que reduce la probabilidad de los tokens proporcionalmente a la frecuencia con la que han aparecido hasta ahora.Penalización de presenciaUna configuración de decodificación que reduce la probabilidad de que aparezcan tokens, fomentando nuevos temas.Muestreo Top-kUna estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.Decodificación vigiladaUna estrategia de generación que limita los tokens de salida a estructuras válidas o elecciones que cumplan con las políticas.Decodificación especulativaUn método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Obtenga más información en nuestras guías gratuitas.

Repetition Penalty and Decoding Controls AI Flashcards and Spaced Repetition

Véase también

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking