What is Frequency Penalty? Definition | AI Understanding

Definiție

O setare de decodare care reduce probabilitatea de jetoane proporțional cu cât de des au apărut până acum.

Termeni înrudiți

Pedeapsa de prezenta

O setare de decodare care reduce probabilitatea de apariție a jetoanelor, încurajând subiecte noi.

Pedeapsa de repetare

O setare de decodare care scade probabilitatea de jetoane pe care modelul le-a produs deja pentru a reduce buclele.

O metrică a modelului de limbă care măsoară cât de surprins este modelul de adevăratele simboluri următoare.

Eșantionarea top-k

O strategie de decodare care prelevează numai din cele k cele mai probabile simboluri următoare.

Decodare păzită

O strategie de generare care constrânge jetoanele de ieșire la structuri valide sau la alegeri conforme cu politicile.

Decodare speculativă

O metodă de accelerare a inferenței în care un model nefinalizat propune simboluri pe care un model mai mare le verifică în paralel.

Aflați mai multe în ghidurile noastre gratuite

Repetition Penalty and Decoding Controls Mel-Frequency Cepstral Coefficients

Vezi și

Beam Search Parent-Document Retrieval Multi-Query Retrieval RAG-Fusion Self-Play Post-training Mid-training Watermarking

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite