Término del glosario de IA

que es Decodificación especulativa?

Definición

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.

Términos relacionados

Facturación basada en el uso
Precios donde los costos escalan con llamadas API, tokens, tiempo de inferencia o computación consumida.
Atención de ventana corrediza
Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.
Inferencia
La fase de tiempo de ejecución donde un modelo entrenado genera predicciones o resultados.
RAG (Generación aumentada de recuperación)
Un método que recupera conocimiento externo y lo alimenta a la generación en el momento de la inferencia.
Muestreo Top-k
Una estrategia de decodificación que toma muestras solo de los k tokens siguientes más probables.
Modelo destilado
Un modelo más pequeño entrenado para imitar el comportamiento de un modelo más grande mientras usa menos computación en la inferencia.

Obtenga más información en nuestras guías gratuitas.

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

See also

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
Explore el glosario completo de IAExplora todas las guías gratuitas de IA