LegközelebbKövetkező útmutató
Minimális Bayes kockázati dekódolás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A kontrasztos dekódolás jobb minőségű szöveget generál azáltal, hogy kivonja egy kicsi, gyenge nyelvi modell tendenciáit egy nagy, erős nyelvi modell tendenciáiból.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Felerősíti azt, amit a szakértő tud, az amatőr pedig kihagy, csökkenti az ismétlődést és a nyájas kimenetet.
Contrastive decoding scores candidate tokens using an expert model and an amateur model, subtracting a weighted amateur log-probability from the expert score. It can suppress tokens that both models favor, including some generic or repetitive continuations. An adaptive plausibility constraint filters out tokens whose expert probability is too small relative to the expert’s highest-probability token. This constraint limits candidates; it does not guarantee coherent, grammatical, or truthful output. Output quality depends on the models, coefficient, threshold, prompt, and task, so evaluate the full generation. The method runs at inference time with two models and requires no additional training.
Hosszú, nem ismétlődő történetek vagy cikkek folytatása, ahol a magmintavétel hurkokba sodródik
Egy 65B szakértő és egy 1.5B amatőr párosítása a nyílt végű generáció fejlesztése érdekében finomhangolás nélkül
A degenerált ismétlődés csökkentése az összegzési és párbeszédes kimenetekben
Alapjául szolgál a DoLa-stílusú önkontrasztnak az alacsonyabb tényszerű hallucinációkhoz
A kontrasztos dekódolás a „kontraszt a következtetésnél” módszerek családját ihlette, beleértve a DoLa-t (a modell saját korai és késői rétegeinek szembeállítása a hallucinációk csökkentésére) és a kontextus-tudatos változatokat, amelyek kontrasztot alkotnak a letöltött dokumentumokkal és anélkül. Várható szorosabb integráció a visszakereséssel, a tényszerű pontozással és a kisamatőr lepárlással, valamint a spekulatív dekódolással való kombináció, így az amatőr egyszerre irányítja a minőséget és gyorsítja a generálást.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A kontrasztos dekódolás jobb minőségű szöveget generál azáltal, hogy kivonja egy kicsi, gyenge nyelvi modell tendenciáit egy nagy, erős nyelvi modell tendenciáiból. Felerősíti azt, amit a szakértő tud, és amit az amatőr elmulaszt, csökkenti az ismétlődést és az unalmas kimenetet.
Az amatőr log-valószínűségeit levonják a szakértő hibáiból, megszüntetve a szisztematikus hibákat (például a gyakori tokenek előnyben részesítését), amelyeken mindkét modell osztozik.
Mindkét modell túlzottan preferálja a magas frekvenciájú és ismétlődő tokeneket; az amatőr kivonása megszünteti ezt a közös elfogultságot, lefokozva az unalmas választásokat.
The constraint removes low-expert-probability tokens before contrastive scoring; it does not certify the coherence or truth of the final output.
Minden jelöltet a szakértő log-valószínűsége mínusz egy súlyozott amatőr log-valószínűség pontozásaként értékelnek.
A DoLa szembeállítja a modell korai (korai réteg) és érett (késői rétegű) előrejelzéseit, hogy csökkentse a hallucinációkat, a kontraszt koncepciót egyetlen modellen belül alkalmazva.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Minimális Bayes kockázati dekódolás
Nyelvi AI