Iyipada ni ihamọ
Iyipada iyipada fi agbara mu awoṣe ede kan lati ṣe agbejade ti o tẹle awọn ofin to muna — bii JSON ti o wulo, ilana regex, tabi ṣeto awọn yiyan ti o wa titi - nipa didi eyikeyi ami ami ti yoo fọ eto naa.
Akopọ
O tan monomono ọrọ ti o ṣeeṣe sinu olupilẹṣẹ ti o gbẹkẹle ti iṣelọpọ ẹrọ.
Jin Dive
Awoṣe ede ni deede ṣe ayẹwo ami ami atẹle lati inu ọrọ kikun rẹ, nitorinaa ko si ohun ti o da duro lati ṣe agbejade aami idẹsẹ tabi akọmọ ti ko ni iwọntunwọnsi ti o fọ itọka JSON. Iyipada iyipada ti o ni ihamọ ṣe atunṣe eyi nipa titọju ilo tabi ẹrọ ipinlẹ lẹgbẹẹ iran. Ni igbesẹ kọọkan, eto naa ṣe iṣiro iru awọn ami ti o jẹ labẹ ofin ti a fun ni ohun ti o ti ṣe tẹlẹ, lẹhinna boju jade (ṣeto si ailopin odi) iṣeeṣe ti gbogbo ami arufin ṣaaju iṣapẹẹrẹ. Fun JSON, iyẹn tumọ si lẹhin àmúró šiši nikan ni agbasọ tabi àmúró pipade ni a gba laaye; lẹhin bọtini, nikan a oluṣafihan. Awọn imuṣẹ ti o wọpọ ṣajọ awọn girama ti ko ni ọrọ-ọrọ (bii GBNF ni llama.cpp), Awọn eto JSON, tabi awọn ikosile deede sinu awọn iboju iparada ipele-ami wọnyi, ṣe iṣeduro iṣelọpọ wulo ni igbekalẹ nipasẹ ikole dipo ireti.
Imọ-imọ-ẹrọ
Ẹrọ ipilẹ jẹ iboju-ami ami ti a lo si awọn logits ṣaaju softmax. Atupalẹ tọpasẹ ipo girama lọwọlọwọ; fun awọn ti o ipinle ti o precomputes awọn ṣeto ti laaye tókàn àmi, ati decoder odo awọn iṣeeṣe ti gbogbo awọn miiran. Apa lile ni pe awọn tokenizers pin ọrọ si awọn ege ọrọ-ọrọ ti ko ni ibamu pẹlu awọn aami girama, nitorinaa awọn ile-ikawe bii Awọn ilana tabi XGrammar kọ awọn iyipada girama maapu adaṣe adaṣe sori awọn fokabulari ami ami gangan, nigbagbogbo cache fun iyara.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Iyipada koodu
Iyipada iyipada ti di ẹya aiyipada kuku ju afikun kan: awọn olupese ni bayi ṣafihan 'awọn abajade atunto' ati 'ipo JSON' ti o ṣe iṣeduro ifaramọ ilana eto-ẹgbẹ olupin. Reti akopo girama ti o yara, isunmọ lairi lati automata ti a ti ṣaju, ati isọdọkan ju pẹlu pipe ọpa ati awọn ilana aṣoju, nibiti gbogbo idahun awoṣe gbọdọ sọ di mimọ sinu koodu. Iwadi n titari si awọn ihamọ ti o ni ọlọrọ - iru awọn ọna ṣiṣe, awọn girama-ede siseto ni kikun, ati awọn sọwedowo atunmọ - laisi irubọ imunju awoṣe.
Real-World imuse
Fi ipa mu LLM kan lati tu JSON ti o baamu ni pato ero ti a ti sọ tẹlẹ nitoribẹẹ koodu isale le ṣe itupalẹ laisi igbiyanju/ayafi awọn oluso.
Ni ihamọ idahun awoṣe isọdi si ọkan ninu aami ti o wa titi ti a ṣeto bi 'rere', 'odi', tabi 'ipinu' ati nkan miiran.
Ṣiṣẹda SQL ti o wulo syntactically tabi awọn ariyanjiyan iṣẹ-ipe fun lilo irinṣẹ, nibiti aami aiṣedeede yoo kọlu alaṣẹ.
Ṣiṣejadejade ti o ni ibamu si ikosile deede, gẹgẹbi nọmba foonu kan, ọjọ ISO, tabi koodu ọja ti o wa titi.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constrained Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iyipada itansan
Awọn ibeere ti a beere nigbagbogbo
Kini Constrained Decoding?
Iyipada iyipada fi agbara mu awoṣe ede kan lati ṣe agbejade ti o tẹle awọn ofin to muna — bii JSON ti o wulo, ilana regex, tabi ṣeto awọn yiyan ti o wa titi - nipa didi eyikeyi ami ami ti yoo fọ eto naa. O yi olupilẹṣẹ ọrọ iṣeeṣe pada si iṣelọpọ igbẹkẹle ti iṣelọpọ-itumọ ẹrọ.
Kini iyipada iyipada ni ipilẹṣẹ ṣe ni igbesẹ iran kọọkan?
Awọn iṣiro iyipada ti o ni ihamọ eyiti awọn ami-ami jẹ ofin ti a fun ni ipo girama ati ṣeto iṣeeṣe ti gbogbo awọn ami aitọ si odo ni imunadoko ṣaaju awọn apẹẹrẹ awoṣe.
Kini idi ti iyipada ni ihamọ wulo fun ṣiṣejadejade JSON?
Nipa gbigba awọn ami-ami laaye nigbagbogbo ti o jẹ ki girama JSON ṣiṣẹ, iṣẹjade ko le ni awọn àmúró ti ko ni iwọntunwọnsi tabi aami idẹsẹ ti ko tọ, nitorinaa o tumọ ni igbẹkẹle.
Ipenija imọ-ẹrọ wo ni o jẹ ki iyipada didin jẹ ẹtan lati ṣe?
Tokenizers pin ọrọ si awọn ege kekere ọrọ ti o gun tabi pin awọn aala girama, nitorinaa awọn ile-ikawe gbọdọ ya awọn iyipada girama sori awọn fokabulari tokini gangan.
Ewo ninu iwọnyi jẹ ọna kika gidi ti a lo lati pato awọn ihamọ fun iyipada?
Awọn eto JSON, awọn girama ti ko ni ọrọ-ọrọ (bii GBNF), ati awọn ikosile deede ni a ṣe akojọpọ nigbagbogbo sinu awọn iboju iparada ti o fi ipa mu eto.
Ni aaye wo ni opo gigun ti epo jẹ iboju iparada ni igbagbogbo lo?
A lo iboju-boju naa si awọn logiti aise ki awọn ami aitọ gba iṣeeṣe aifiyesi nigbati ami atẹle ba jẹ apẹẹrẹ.