Termen de glosar AI

Ce este Decodare speculativă?

Definiție

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Termeni înrudiți

Facturare bazată pe utilizare
Prețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.
Atenție fereastră glisantă
Un model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.
Inferență
Faza de rulare în care un model antrenat generează predicții sau rezultate.
RAG (Recuperare-Augmented Generation)
O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.
Eșantionarea top-k
O strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.
Model distilat
Un model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.

Aflați mai multe în ghidurile noastre gratuite

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Vezi și

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite