Termen de glosar AI

Ce este Decodare speculativă?

Definiție

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Răsfoiți întregul glosar AIExplorați toate ghidurile AI gratuite

Termeni înrudiți

Facturare bazată pe utilizarePrețuri la care costurile cresc cu apeluri API, token-uri, timp de inferență sau calcul consumat.Atenție fereastră glisantăUn model de atenție în care fiecare jeton se ocupă doar de o fereastră de dimensiune fixă a jetonelor din apropiere pentru a reduce calculul.InferențăFaza de rulare în care un model antrenat generează predicții sau rezultate.RAG (Recuperare-Augmented Generation)O metodă care preia cunoștințe externe și le alimentează în generare la momentul deducerii.Eșantionarea top-kO strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.Model distilatUn model mai mic antrenat să imite comportamentul unui model mai mare, folosind mai puține calcule la inferență.

Aflați mai multe în ghidurile noastre gratuite

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Vezi și

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output