DalšíDalší průvodce
TensorRT a Inference Engines
Technický
Technický PRŮVODCE
Seldon Core je platforma s otevřeným zdrojovým kódem pro nasazování modelů strojového učení na Kubernetes s vynikající funkcí: inferenčními grafy.
Poslechněte si tento návodAI-vyprávěný · ~2 min
Instead of serving one isolated model, it lets you chain models, routers, combiners, and transformers into a single directed graph that runs as one deployable service.
Mnoho případů skutečného produkčního použití zahrnuje více než jediné volání modelu. Můžete předběžně zpracovat vstup, směrovat požadavek na jeden z několika modelů, spustit soubor a následně zpracovat výsledek. Seldon Core to vyjadřuje jako inferenční graf definovaný v SeldonDeployment (nebo v architektuře v2 přes Seldon Core Operator a MLServer). Graf je sestaven z opakovaně použitelných typů komponent: Model slouží předpovědi, Transformátor upravuje vstupy nebo výstupy, Router rozhoduje, které dítě zavolá (umožňuje A/B testy a víceruké bandity) a Combiner agreguje výstupy z více modelů pro seskupení. Seldon podporuje mnoho rámců prostřednictvím předpřipravených serverů a vlastních obalů Pythonu a poskytuje bohaté metriky, distribuované sledování a logování užitečného zatížení hned po vybalení pro pozorovatelnost a vysvětlení.
Věřitel připojí Transformer, který rychle zakóduje prvky do modelového uzlu, a poté Transformer, který zformátuje partituru, vše jako jeden SeldonDeployment.
Mediální společnost používá uzel Router, na kterém běží mnohoruký bandita, k dynamickému odesílání většího provozu na kterýkoli model doporučení, který získává vyšší odměnu za kliknutí.
Tým seskupuje tři modely podvodů s uzlem Combiner, který zprůměruje jejich skóre, než vrátí jediné rozhodnutí volajícímu.
Regulovaný pojistitel připojuje Seldonovo protokolování užitečného zatížení a vysvětlení Alibi k inferenčnímu grafu, takže každou předpověď lze dohledat a vysvětlit pro audity.
Seldon se posouvá směrem k modulárním, na data zaměřeným MLOps s návrhem potrubí a datového toku Core v2, plus těsnější propojení s detekcí posunu (Alibi Detect) a vysvětlitelností (Alibi Explain). Jak se LLM a agentní systémy stávají složenými grafy vyhledávání, modelů a nástrojů, abstrakce inferenčního grafu se přirozeně mapuje na tyto pracovní postupy. Očekávejte větší důraz na efektivitu poskytování více modelů, streamování a standardizovanou pozorovatelnost, aby komplexní systémy umělé inteligence ve více krocích zůstaly laditelné a ovladatelné ve výrobě.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
Seldon Core je platforma s otevřeným zdrojovým kódem pro nasazování modelů strojového učení na Kubernetes s vynikající funkcí: inferenčními grafy. Namísto obsluhování jednoho izolovaného modelu vám umožňuje řetězit modely, směrovače, slučovače a transformátory do jediného orientovaného grafu, který běží jako jedna nasaditelná služba.
Seldon Core vám umožňuje skládat modely, směrovače, slučovače a transformátory do jediného inferenčního grafu nasazeného jako jedna služba.
Router směruje požadavky jednomu ze svých potomků a může implementovat testy A/B nebo víceruké bandity.
Combiner sloučí odpovědi více podřízených modelů do jednoho výstupu, což je způsob, jakým se sestavují soubory.
Seldonovy inferenční grafy jsou orientované acyklické grafy, kde každý uzel je mikroslužba se standardním prediktivním rozhraním.
Core v2 odděluje graf od modelových serverů pomocí MLServeru a protokolu Open Inference Protocol pro poskytování více modelů.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
TensorRT a Inference Engines
Technický