Término del glosario de IA

¿Qué es Decodificación especulativa?

Definición

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Explore el glosario completo de IAExplora todas las guías gratuitas de IA

Términos relacionados

Facturación basada en el usoPrecios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.Atención de ventana corredizaUn patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.InferenciaLa fase de tiempo de ejecución donde un modelo entrenado genera predicciones o resultados.RAG (Generación aumentada de recuperación)Un método que recupera conocimiento externo y lo alimenta a la generación en el momento de la inferencia.Muestreo Top-kUna estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.Modelo destiladoUn modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.

Obtenga más información en nuestras guías gratuitas.

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Véase también

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output