LegközelebbKövetkező útmutató
Kontrasztív dekódolás
Nyelvi AI
Nyelvi AI ÚTMUTATÓ
A korlátozott dekódolás arra kényszeríti a nyelvi modellt, hogy olyan kimenetet állítson elő, amely szigorú szabályokat követ – például érvényes JSON-t, regex-mintát vagy rögzített választási készletet – azáltal, hogy blokkol minden olyan tokent, amely megtörné a struktúrát.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
A valószínűségi szöveggenerátort a géppel értelmezhető kimenet megbízható előállítójává változtatja.
A nyelvi modell általában teljes szókincséből mintát vesz a következő tokent, így semmi sem akadályozza meg abban, hogy kósza vesszőt vagy kiegyensúlyozatlan zárójelet hozzon létre, amely megszakítja a JSON-elemzést. A korlátozott dekódolás ezt úgy javítja ki, hogy a generálás mellett egy nyelvtani vagy állapotgépet tart fenn. A rendszer minden lépésben kiszámítja, hogy az eddig gyártottak alapján mely tokenek legálisak, majd a mintavétel előtt elrejti (negatív végtelenre állítja) minden illegális token valószínűségét. A JSON esetében ez azt jelenti, hogy a nyitó kapcsos zárójel után csak idézőjel vagy záró kapcsos zárójel megengedett; kulcs után csak kettőspont. A gyakori megvalósítások kontextusmentes nyelvtanokat (például GBNF a llama.cpp-ben), JSON-sémákat vagy reguláris kifejezéseket fordítanak ezekbe a token-szintű maszkokba, garantálva, hogy a kimenet szerkezetileg konstrukciósan érvényes, nem pedig reményre.
Egy LLM arra kényszerítése, hogy olyan JSON-t adjon ki, amely pontosan megegyezik egy előre meghatározott sémával, hogy a downstream kód try/kivéve őrzők nélkül elemezze azt.
Az osztályozási modell válaszának korlátozása egy rögzített címkekészletre, például „pozitív”, „negatív” vagy „semleges” és semmi másra.
Szintaktikailag érvényes SQL vagy függvényhívási argumentumok generálása eszközhasználathoz, ahol egy rosszul formázott token összeomolná a végrehajtót.
Olyan kimenet létrehozása, amely megfelel egy reguláris kifejezésnek, például telefonszámnak, ISO-dátumnak vagy rögzített formátumú termékkódnak.
A korlátozott dekódolás inkább alapértelmezett funkcióvá válik, mint kiegészítővé: a szolgáltatók mostantól „strukturált kimeneteket” és „JSON-módot” tesznek elérhetővé, amelyek garantálják a szerveroldali sémamegfelelőséget. Várható gyorsabb nyelvtani fordítás, alacsonyabb késleltetés az előre kiszámított automatáktól, valamint szorosabb integráció az eszközhívásokkal és az ügynök-keretrendszerekkel, ahol minden modellválasznak tisztán be kell illeszkednie a kódba. A kutatás egyre gazdagabb korlátok – típusrendszerek, teljes programozási nyelvű nyelvtanok és szemantikai ellenőrzések – felé törekszik, anélkül, hogy a modell folyékonyságát feláldozná.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A korlátozott dekódolás arra kényszeríti a nyelvi modellt, hogy olyan kimenetet állítson elő, amely szigorú szabályokat követ – például érvényes JSON-t, regex-mintát vagy rögzített választási készletet – azáltal, hogy blokkol minden olyan tokent, amely megtörné a struktúrát. A valószínűségi szöveggenerátort a géppel értelmezhető kimenet megbízható előállítójává változtatja.
A kényszerített dekódolás kiszámítja, hogy a nyelvtani állapot alapján mely tokenek legálisak, és az összes illegális tokenek valószínűségét gyakorlatilag nullára állítja a modellminták előtt.
The current Structured Outputs documentation states that an unsupported JSON Schema in strict mode results in an error; schemas have an implementation-specific supported subset.
A tokenizálók részszavakra osztják a szöveget, amelyek átnyúlnak vagy felosztják a nyelvtani határokat, így a könyvtáraknak le kell képezniük a nyelvtani átmeneteket a tényleges token szókincsre.
A JSON-sémákat, a környezetfüggetlen nyelvtanokat (például a GBNF-et) és a reguláris kifejezéseket általában a struktúrát érvényre juttató tokenmaszkokba fordítják.
A maszkot a nyers logitokra alkalmazzák, így az illegális tokenek elhanyagolható valószínűséggel kapnak a következő token mintavételekor.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Kontrasztív dekódolás
Nyelvi AI