Termine del glossario AI

Cos'è Decodifica speculativa?

Definizione

Un metodo di accelerazione dell'inferenza in cui una piccola bozza di modello propone token che un modello più grande verifica in parallelo.

Termini correlati

Fatturazione basata sull'utilizzo
Prezzi in cui i costi aumentano in base alle chiamate API, ai token, al tempo di inferenza o al calcolo consumato.
Attenzione alla finestra scorrevole
Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.
Inferenza
La fase di runtime in cui un modello addestrato genera previsioni o output.
RAG (generazione aumentata di recupero)
Un metodo che recupera la conoscenza esterna e la alimenta nella generazione al momento dell'inferenza.
Campionamento Top-k
Una strategia di decodifica che campiona solo dai k token successivi più probabili.
Modello distillato
Un modello più piccolo addestrato per imitare il comportamento di un modello più grande utilizzando meno calcolo durante l'inferenza.

Scopri di più nelle nostre guide gratuite

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Vedi anche

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale