DalšíDalší průvodce
Obsluha více modelů a multiplexování modelů
Technický
Technický PRŮVODCE
Vyhnout se uzamčení dodavatele AI znamená navrhnout své systémy AI tak, abyste mohli změnit poskytovatele modelů nebo jich používat několik najednou, aniž byste museli přepisovat aplikaci.
Poslechněte si tento návodAI-vyprávěný · ~3 min
Je to důležité, protože kvalita modelu, ceny a dostupnost se rychle mění. Týmy, které napevno kódují rozhraní API jednoho poskytovatele, rychlé funkce a vkládání, čelí velkým nákladům na migraci, když se potřebují přestěhovat.
Uzamčení probíhá ve vrstvách a samotná brána odstraní pouze tu první. První vrstvou je tvar rozhraní API: formáty požadavků, streamování, chybové kódy a způsob deklarace nástrojů nebo funkcí. Mnoho poskytovatelů a serverů s otevřeným zdrojovým kódem nyní nabízí koncové body kompatibilní se OpenAI. Knihovny a služby, jako jsou LiteLLM a OpenRouter, a cloudové platformy, jako je Amazon Bedrock, Google Vertex AI a platforma Azure AI Microsoft, staví mnoho modelů za jedno rozhraní. Druhou vrstvou jsou výzvy. Výzva přizpůsobená zvyklostem jednoho modelu, jako jsou jeho předvolby formátování, vzorce odmítnutí nebo způsob, jakým se řídí pokyny systému, často funguje hůře u jiného. To je důvod, proč sdílené API nezaručuje přenositelnost. Třetí vrstvou jsou datové artefakty. Vložení z různých modelů žije v různých vektorových prostorech a nelze je porovnávat, takže změna modelů vkládání znamená znovu vložení celého korpusu. Vyladěné modely obvykle nelze exportovat od hostovaného poskytovatele. Čtvrtou vrstvou jsou funkce platformy. Hostovaná vlákna konverzace, vestavěná vektorová úložiště, rámce agentů a proprietární zpracování souborů šetří námahu, ale spojují logiku vaší aplikace s jedním dodavatelem. Pátý je komerční: smlouvy o závazné útratě a množstevní slevy. Nástroj, díky kterému je přepínání bezpečné, je vyhodnocovací sada: reprezentativní sada vašich skutečných úkolů s očekávanými výsledky nebo pravidly hodnocení, které můžete spustit proti jakémukoli modelu kandidáta. Bez jednoho je přepínač jen hádání. S jedním můžete také směrovat úkoly podle obtížnosti a posílat snadnou práci levnějším modelům. Obvyklá mylná představa je, že byste se měli vyhnout veškerému uzamčení. Funkce specifické pro poskytovatele mohou být užitečné. Cílem je vědět, které závislosti jste převzali, kolik by stálo jejich zrušení a aby byly tyto náklady přijatelné.
Softwarová společnost odesílá všechna volání LLM přes interní bránu, která používá rozhraní kompatibilní se OpenAI. Když dojde k výpadku jednoho poskytovatele, provoz selže na druhého poskytovatele prostřednictvím jediné změny konfigurace.
Legal-tech startup uchovává hodnotící sadu 300 skutečných smluvních otázek s odstupňovanými odpověďmi. Než se rozhodne, zda přejít, spustí sadu s každým novým vydáním modelu.
Tým e-commerce odešle jednoduché označení produktu na malý, levný model a udržuje hraniční model pro složité stížnosti zákazníků. To snižuje náklady bez jakékoli změny kódu aplikace.
Tým pro vyhledávání na bázi znalostí ukládá originální dokumenty a jejich rozdělovací kód vedle vektorů. Přepínání modelů vkládání pak znamená spuštění naplánované úlohy opětovného vkládání, bez ztráty dat.
Rozhraní mezi aplikacemi a modely se sbližují. Rozhraní API kompatibilní se OpenAI jsou široce kopírována a otevřené protokoly, jako je Model Context Protocol pro připojení nástrojů, snižují určité blokování integrace. Rozdíly v chování modelu pravděpodobně zůstanou, takže při přepínání bude stále potřeba rychlé ladění a vyhodnocení. Modely s otevřenou váhou poskytují organizacím další způsob, jak snížit závislost, a to za cenu provozování vlastní infrastruktury. Jak platformy agentů přidávají paměť, pracovní postupy a hostované nástroje, pravděpodobně se objeví nové formy uzamčení platformy. Týmy, které investují do svých vlastních hodnoticích dat a protokolů, si ponechávají největší svobodu výběru.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Vyhnout se uzamčení dodavatele AI znamená navrhnout své systémy AI tak, abyste mohli změnit poskytovatele modelů nebo jich používat několik najednou, aniž byste museli přepisovat aplikaci. Je to důležité, protože kvalita modelu, ceny a dostupnost se rychle mění. Týmy, které napevno kódují rozhraní API jednoho poskytovatele, rychlé funkce a vkládání, čelí velkým nákladům na migraci, když se potřebují přestěhovat.
Každý model vkládání mapuje text do svého vlastního vektorového prostoru, takže dotaz vložený s modelem B nelze smysluplně srovnávat s dokumenty vloženými do modelu A.
Hodnotící sada je reprezentativní sada vašich úkolů s očekávanými výsledky nebo pravidly hodnocení. Přemění modelový přechod z odhadu na měřené rozhodnutí.
Sdílený formát požadavku odstraňuje vrstvu uzamčení ve tvaru rozhraní API, ale chování modelu se stále liší, takže výzvy a výstupy vyžadují opětovné testování.
Směrování posílá každou úlohu na nejlevnější model, který ji dobře zvládá. Hodnotící sada je to, co vám umožní potvrdit, že malý model je adekvátní.
Zaznamenání toho, který model vytvořil každý vektor, a zachování zdrojového textu a parametrů rozdělení, vám umožní spolehlivě znovu sestavit index pomocí nového modelu.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Obsluha více modelů a multiplexování modelů
Technický