DalšíDalší průvodce
Berkeley Function Calling Leaderboard
Technický
Technický PRŮVODCE
Paralelní volání funkcí je, když jazykový model požaduje několik volání nástrojů v jediné odpovědi, takže je aplikace může spustit současně a vrátit všechny výsledky společně.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože to omezuje okružní cesty a latenci pro nezávislé vyhledávání, ale je to bezpečné pouze tehdy, když hovory na sobě nezávisí a když aplikace správně zpracovává objednávky, vedlejší účinky a dílčí selhání.
Při základním použití nástroje si model vyžádá jeden nástroj, aplikace jej spustí, vrátí výsledek a model pokračuje. Každý krok stojí celý modelový okružní výlet. Při paralelním volání funkcí může model vydávat více požadavků na volání nástroje v jedné odpovědi, každý s vlastním identifikátorem, názvem a argumenty. Aplikace je provede, často souběžně, a odešle zpět jeden výsledek na volání, každý propojený se svým identifikátorem, takže model ví, který výsledek patří ke kterému požadavku. OpenAI přidala na konci roku 2023 paralelní volání funkcí do svého API a další významní poskytovatelé podporují volání více nástrojů najednou. Některá rozhraní API nabízejí nastavení, které toto chování vypne, když aplikace potřebuje vždy pouze jedno volání. Paralelní volání jsou bezpečná, když jsou nezávislá: čtení, která se navzájem neovlivňují, jako je vyhledání několika záznamů nebo spuštění několika vyhledávání. Jsou riskantní, když jeden hovor potřebuje výstup druhého nebo když hovory mají vedlejší účinky, které se vzájemně ovlivňují, jako jsou dva zápisy do stejného záznamu nebo poplatek s následným vrácením peněz. Pořadí, ve kterém model uvádí volání, není zaručeným příkazem provedení a aplikace je může dokončit v libovolném pořadí. Obvyklá mylná představa je, že model spouští nástroje paralelně. To ne; pouze je žádá. Souběžnost, časové limity a opakování jsou odpovědností aplikace. Další mylnou představou je, že pokud selže jeden hovor, selže celá dávka. Dobře sestavená aplikace vrací každý výsledek jednotlivě, včetně chyb, takže model může pokračovat s tím, co uspělo. U závislých kroků by měl model zavolat první nástroj, počkat na jeho výsledek a poté zavolat další. Dobré popisy nástrojů a systémové pokyny mohou pomoci řídit, kdy dávkovat a kdy sekvenovat.
Cestovní asistent, který se zeptal na počasí v Paříži, Římě a Madridu, vydává tři vyhledávání počasí v jednom kole a aplikace je spouští souběžně.
Agent prodejního panelu načte objednávky zákazníka, otevře lístky podpory a poznámky k účtu v jedné paralelní dávce, než napíše souhrn.
Agent, který je požádán o vytvoření složky a následném zápisu souboru do ní, nesmí provádět obě volání souběžně, protože zápis závisí na existující složce.
Výzkumný agent odešle paralelně pět vyhledávání; dva časový limit a aplikace vrátí tři výsledky plus dvě jasné chybové zprávy, takže model může opakovat pouze ty neúspěšné.
Jak agenti přebírají větší úkoly, používání paralelních nástrojů se stává rutinním způsobem, jak snížit latenci, a trénují se modely, aby rozpoznaly, která volání jsou nezávislá. Kabely také přidávají funkce, jako je plánování s ohledem na závislosti a zamykání zdrojů, aby bylo možné dávkové požadavky provádět bezpečně. Úsudek modelu o závislostech se pravděpodobně zlepší, ale aplikace zůstane odpovědná za vynucování bezpečnosti u vedlejších efektů, časových limitů a opakování, protože ty závisí na skutečných systémech, které model nevidí.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Paralelní volání funkcí je, když jazykový model požaduje několik volání nástrojů v jediné odpovědi, takže je aplikace může spustit současně a vrátit všechny výsledky společně. Je to důležité, protože to omezuje okružní cesty a latenci pro nezávislé vyhledávání, ale je to bezpečné pouze tehdy, když hovory na sobě nezávisí a když aplikace správně zpracovává objednávky, vedlejší účinky a dílčí selhání.
Model vydává několik požadavků na volání nástroje v jednom kole, které může aplikace spustit společně.
Model požaduje pouze volání; souběžnost, časové limity a opakování jsou úkolem aplikace.
Zápis do souboru závisí na existující složce, takže volání musí probíhat postupně.
Souběžné hovory končí v nepředvídatelném pořadí, takže spolehlivým odkazem je identifikátor.
Vrácení každého výsledku jednotlivě, včetně chyb, umožňuje modelu pokračovat a selektivně opakovat.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Berkeley Function Calling Leaderboard
Technický