What is Guarded Decoding? Definition | AI Understanding

Definiție

O strategie de generare care constrânge jetoanele de ieșire la structuri valide sau la alegeri conforme cu politicile.

Termeni înrudiți

Eșantionarea top-k

O strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.

Eșantionarea top-p (Nucleus).

O strategie de decodare care prelevează din cel mai mic set de jetoane ale cărui probabilități se însumează la p.

Analizator de ieșire

Logica care validează și convertește rezultatele modelului în structuri puternic tipizate, utilizabile de mașină.

Decodare speculativă

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Pedeapsa de repetare

O setare de decodare care scade probabilitatea de jetoane pe care modelul le-a produs deja pentru a reduce buclele.

Frecvență penalizare

O setare de decodare care reduce probabilitatea de jetoane proporțional cu cât de des au apărut până acum.

Aflați mai multe în ghidurile noastre gratuite

Contrastive Decoding Minimum Bayes Risk Decoding Self-Consistency Decoding Medusa Decoding Heads

Vezi și

Groundedness Human Preference Model Feature Store Inference Endpoint Eval Harness Knowledge Base Embedding Model Latent Space

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite