DalšíDalší průvodce
Beam Search (paprskové vyhledávání)
Jazyk AI
Jazyk AI GUIDE
Vyhledání s omezeným paprskem nutí výstup jazykového modelu splnit náročné požadavky, jako je zahrnutí konkrétních slov nebo shoda s gramatikou, a přitom stále hledat nejpravděpodobnější text.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Zaručuje strukturu, kterou prosté vzorkování nemůže slíbit.
Obyčejné prohledávání paprsků udržuje top k nejpravděpodobnějších dílčích sekvencí („paprsků“) v každém kroku a rozšiřuje je, přičemž vybírá nejlepší kompletní. Hledání pomocí řízeného nebo omezeného paprsku přidává pravidla, kterým se musí konečný výstup řídit, jako například „musí se objevit slova most a řeka“ nebo „výstup musí být platný JSON“. Lexicky omezené dekódování (Hokamp a Liu, 2017) a Grid Beam Search organizují paprsky podle toho, kolik omezení je splněno, což zajišťuje, že se nakonec objeví každý požadovaný token. Dynamická alokace paprsku Post and Vilar to zefektivnila tím, že naklonila sloty paprsku napříč úrovněmi omezení. Moderní systémy také používají gramaticky omezené dekódování: v každém kroku konečný automat nebo bezkontextová gramatika maskuje distribuci tokenů, takže jsou povoleny pouze tokeny, které udržují výstup platný. Takto nástroje spolehlivě vydávají analyzovatelná volání JSON, SQL nebo API.
Vynucení výstupu strojového překladu, aby obsahoval požadovaný terminologický termín
Zaručení LLM vydává JSON, který ověřuje proti danému schématu pro volání API
Omezení generovaného SQL na gramatiku tabulek a sloupců databáze
Vkládání povinných klíčových slov do textu reklamy nebo popisů produktů
Omezené dekódování se stává páteří spolehlivého používání nástrojů a strukturovaného výstupu. Knihovny, které kompilují schémata JSON nebo regulární výrazy do rychlých masek tokenů (jako jsou Outlines a metodický přístup), se slučují do běžných inferenčních serverů. Očekávejte gramatická omezení kombinovaná se spekulativním dekódováním pro rychlost a naučeným „měkkým“ vedením, které směřuje ke stylu nebo bezpečnostním cílům bez křehkosti tvrdých pravidel.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Vyhledání s omezeným paprskem nutí výstup jazykového modelu splnit náročné požadavky, jako je zahrnutí konkrétních slov nebo shoda s gramatikou, a přitom stále hledat nejpravděpodobnější text. Zaručuje strukturu, kterou prosté vzorkování nemůže slíbit.
Vyhledávání pomocí paprsku zachovává k částečných sekvencí (paprsků) s nejvyšším skóre a rozšiřuje je, čímž vyvažuje šířku vyhledávání a náklady.
Paprsky jsou seskupeny podle jejich stavu omezení-uspokojení, takže dílčí výstupy, které umístily požadovaná slova, mohou spravedlivě soutěžit.
Konečný automat nebo gramatika vytváří masku pro každý krok, která vynuluje jakýkoli token, který by způsobil neplatnost sekvence.
Postova a Vilarova metoda přiděluje kapacitu paprsku mezi stavy omezujícího průběhu, takže lexikálně omezené vyhledávání je mnohem efektivnější.
A correctly enforced grammar can constrain completed outputs, but truncation or mismatched constraints can leave an incomplete or unsuitable result.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Beam Search (paprskové vyhledávání)
Jazyk AI