Ihamọ ati Itọnisọna Giramu
Iran ti o ni ihamọ fi agbara mu awoṣe ede kan lati gbejade ti o ṣe deede nigbagbogbo si eto ti a ti ṣalaye, bii JSON ti o wulo, SQL, tabi ikosile deede.
Akopọ
O ṣe pataki nitori pe o ṣe imukuro gbogbo kilasi ti awọn ikuna parsing, ṣiṣe awọn LLM ni igbẹkẹle to lati waya sinu awọn opo gidi sọfitiwia.
Jin Dive
Awoṣe ede deede ṣe ayẹwo ami-ami atẹle larọwọto, nitorinaa o le ṣe agbejade JSON ti ko dara, iye enum ti ko tọ, tabi awọn biraketi ti ko ni iwọntunwọnsi. Iran ti o ni ihamọ ṣe iyipada igbesẹ iṣapẹẹrẹ funrararẹ: ni ipo kọọkan eto ṣe iṣiro iru awọn ami ti o tun jẹ labẹ ofin ti a fun ni ero tabi ilo ọrọ, lẹhinna boju-boju awọn iṣeeṣe ti gbogbo ami arufin si odo ṣaaju iṣapẹẹrẹ. Awọn ofin ni a maa n ṣalaye bi girama ti ko ni ayika (nigbagbogbo ṣe akopọ si ọna kika GBNF ti llama.cpp lo), ikosile deede, tabi Eto JSON kan. Awọn ile-ikawe bii Awọn ilana, Itọnisọna, ati XGrammar, pẹlu OpenAI's Awọn abajade Iṣeto ati 'ipo JSON,' ṣe eyi. Nitori awọn ọna arufin ti wa ni gige, awoṣe ko le ṣe jade okun kan ti o kuna lati sọ, lakoko ti o yan larọwọto laarin awọn ilọsiwaju to wulo.
Imọ-imọ-ẹrọ
Awọn mojuto omoluabi ni a àmi-ipele adópin-ipinle ẹrọ. Giramu tabi regex ti wa ni akojọpọ si awọn ipinlẹ, ati fun ipinlẹ kọọkan awọn ami iboju ti a ti ṣaju tẹlẹ eyiti awọn ami fokabulari jẹ ki iṣẹjade wulo. Lẹhin ti awoṣe ṣe agbejade awọn logits rẹ, awọn ami aitọ ni a ṣeto si ailopin odi, nitorinaa softmax fi wọn ṣe iṣeeṣe odo. Awọn ilọsiwaju ẹrọ naa sọ pẹlu ami-ami ti o gba kọọkan. Awọn aiṣedeede Tokenizer (aami kan ti o kan awọn aala girama) jẹ apakan lile, ti a ṣakoso nipasẹ titọka awọn fokabulari lodi si adaṣe ṣaaju akoko.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ọjọ iwaju ti Ihamọ ati Itọnisọna Giramu
Reti iyipada ti o ni ihamọ lati di aiyipada, ẹya-ara isunmọ-odo-oke inu awọn ẹrọ inference bii vLLM ati TensorRT-LLM dipo ibi ikawe bolt-lori. Iwadi n titari si awọn ihamọ ti o ni ọlọrọ, awọn girama ti o ni imọra ọrọ-ọrọ ni kikun, iru koodu ti a ṣayẹwo, ati awọn idiwọ ti o fi ipa mu awọn otitọ atunmọ, kii ṣe sintasi nikan. Isopọmọra pẹlu awọn aṣoju ati pipe ohun elo yoo jẹ ki awọn awoṣe ṣe igbẹkẹle awọn ariyanjiyan iṣẹ. Ipenija ti o ṣii ni mimu deede ga, nitori awọn girama ti o ni wiwọ le titari awoṣe lẹẹkọọkan kuro ni idahun ti o dara julọ.
Real-World imuse
Fi ipa mu LLM kan lati tu JSON ti o baamu ilana API gangan nitori koodu isale ko kọlu aṣiṣe itọka kan
Ṣiṣẹda SQL ti o jẹ iṣeduro lati wulo ni syntactically lodi si girama data data ṣaaju ṣiṣe.
Idinamọ iṣẹjade classifier kan si ọkan ninu eto ti o wa titi ti awọn aami ẹka nipa lilo regex tabi ihamọ enum
Ṣiṣejade awọn ariyanjiyan-ipe iṣẹ fun awọn aṣoju lilo irinṣẹ ti o baamu nigbagbogbo awọn iru paramita ti a beere fun ọpa
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Constrained and Grammar-Guided Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iyipada ni ihamọ
Awọn ibeere ti a beere nigbagbogbo
Kini Constrained ati Grammar-Guided Generation?
Iran ti o ni ihamọ fi agbara mu awoṣe ede kan lati gbejade ti o ṣe deede nigbagbogbo si eto ti a ti ṣalaye, bii JSON ti o wulo, SQL, tabi ikosile deede. O ṣe pataki nitori pe o yọkuro gbogbo kilasi ti awọn ikuna sisọ, ṣiṣe awọn LLM ni igbẹkẹle to lati waya sinu awọn opo gigun ti sọfitiwia gidi.
Kini iran ti o ni ihamọ ṣe iyipada gangan lakoko iran ọrọ?
Iran ti o ni ihamọ laja ni akoko iyipada, yiyipada awọn iṣeeṣe ti awọn ami ti yoo fọ eto ti o nilo ṣaaju iṣapẹẹrẹ.
Ewo ninu iwọnyi jẹ ọna ti o wọpọ lati ṣe afihan awọn ofin fun iran itọsọna girama?
Awọn inira ti wa ni deede ni pato bi ilo ọrọ-ọrọ (fun apẹẹrẹ, GBNF), ikosile deede, tabi Eto JSON kan.
Bawo ni a ṣe daabobo awọn ami aifin lati yan?
Masking ṣeto awọn ami aitọ si ailopin odi, nitorinaa lẹhin softmax wọn gba iṣeeṣe odo ati pe ko le ṣe apẹẹrẹ rara.
Kini iṣoro imọ-ẹrọ akọkọ ni imuse awọn ihamọ ipele-ami?
Àmi ẹyọkan le gùn kọja awọn eroja girama, nitoribẹẹ awọn fokabulari gbọdọ wa ni itọka ni pẹkipẹki lodi si automaton lati mu awọn aiṣedeede wọnyi.
Ewo ni anfani taara ti iran ti o ni ihamọ fun awọn eto iṣelọpọ?
Nipa ikole, iṣelọpọ nigbagbogbo ni ibamu si eto, nitorinaa awọn parsers isalẹ ko kọ lori ọrọ aiṣedeede. Ko ṣe iṣeduro atunse otitọ.