AI Ordliste Term

Hva er Spekulativ dekoding?

Definisjon

En inferensakselerasjonsmetode der et lite utkast til modell foreslår tokens som en større modell verifiserer parallelt.

Relaterte vilkår

Bruksbasert fakturering
Prissetting der kostnadene skaleres med API-kall, tokens, slutningstid eller forbrukt databehandling.
Skyvevindu oppmerksomhet
Et oppmerksomhetsmønster der hvert token kun passer på et vindu med fast størrelse av tokens i nærheten for å redusere beregningen.
Inferens
Kjøretidsfasen der en trent modell genererer spådommer eller utdata.
RAG (Retrieval-Augmented Generation)
En metode som henter ekstern kunnskap og mater den inn i generering på slutningstidspunkt.
Top-k Sampling
En dekodingsstrategi som prøver bare fra de k mest sannsynlig neste tokene.
Destillert modell
En mindre modell trent til å imitere en større modells oppførsel mens du bruker mindre beregning ved inferens.

Lær mer i våre gratis guider

Contrastive DecodingMinimum Bayes Risk DecodingSpeculative Sampling VerificationSelf-Consistency Decoding

Se også

Zero Data RetentionKV CacheMCP (Model Context Protocol)Trust CalibrationAgentic LoopTest-Time ComputeReActStructured Output
Bla gjennom hele AI-ordlistenUtforsk alle gratis AI-guider