DalšíDalší průvodce
Spekulativní úpravy pro modely kódu
Technický
Technický PRŮVODCE
BentoML je open-source rámec Pythonu, který balí trénované modely strojového učení do standardizovaných, nasaditelných jednotek nazývaných „Bentos“.
Poslechněte si tento návodAI-vyprávěný · ~2 min
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
Když datový vědec dokončí trénování modelu, uvedení do výroby obvykle znamená ruční psaní obslužného kódu, připnutí závislostí, vytvoření obrazu Dockeru a zapojení API. BentoML to automatizuje. Uložíte model do jeho místního úložiště modelů a poté definujete třídu Service s koncovým bodem API upraveným tak, aby zpracovával odvození. Příkaz 'bentoml build' sbalí model, váš kód Pythonu, verze závislostí a konfiguraci běhového prostředí do samostatného verzovaného Bento. Odtud 'bentoml containerize' vytvoří obrázek OCI Docker. BentoML podporuje téměř každý framework (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX) a přidává adaptivní mikrodávkování, které automaticky seskupuje příchozí požadavky, aby se maximalizovala propustnost GPU beze změny kódu.
Tým pro odhalování podvodů uloží model XGBoost do obchodu BentoML a sestaví Bento, které odhalí koncový bod /predict REST pro volání platební služby v reálném čase.
Tým platformy ML používá „bentoml containerize“ k přeměně modelu sentimentu Hugging Face na image Docker, který se nasadí do jejich interního clusteru Kubernetes.
Startup poskytuje vyladěný model Llama s OpenLLM (postaveno na BentoML), streamování tokenů do uživatelského rozhraní chatu s adaptivním dávkováním, které udržuje GPU nasycené.
Společnost zabývající se počítačovým viděním zabalí klasifikátor obrázků PyTorch se svým kanálem předběžného zpracování do jednoho Bento, takže přesné transformace používané při výcviku jsou dodávány s modelem.
BentoML se tvrdě opřel do velkého jazykového modelu a generativního poskytování AI, přičemž OpenLLM a BentoCloud nabízejí odezvy streamovacích tokenů, automatické škálování a plánování s ohledem na GPU. Očekávejte těsnější integraci s optimalizátory odvození, jako jsou vLLM a TensorRT-LLM, lepší podporu vícemodelových složených systémů umělé inteligence a hladší cesty od zabaleného Bento k nasazení GPU bez serveru. Jak týmy přecházejí od jednotlivých modelů k agentním kanálům, BentoML se staví do pozice balicí a obslužné vrstvy, která tyto komponenty spojuje dohromady.
Newsletter zdarma
Tři ověřené příběhy ze světa AI každý všední den ráno, psané srozumitelnou angličtinou. Navždy zdarma, bez reklam.
Jeden e-mail každý všední den. Odhlásit se můžete jedním kliknutím. Vaši adresu nikdy neprodáváme ani nesdílíme.
Otestujte se
Okamžitá zpětná vazba ke každé odpovědi a sdílitelný certifikát s ověřitelným ID po absolvování kurzu.
Podpořte bezplatnou AI vzdělávání. AI Understanding je nezisková organizace 501(c)(3) — žádné reklamy, žádná platba za přístup, nikdy. Darujte
BentoML je open-source rámec Pythonu, který balí trénované modely strojového učení do standardizovaných, nasaditelných jednotek nazývaných „Bentos“. Překlenuje propast mezi modelem sedícím v notebooku a produkční službou, která může skutečně sloužit předpovědi přes API.
BentoML zabalí model, jeho kód, závislosti a konfiguraci běhového prostředí do verzované, samostatné jednotky zvané Bento.
Adaptivní dávkování seskupuje příchozí požadavky za běhu, aby udržely GPU zaneprázdněné a maximalizovaly propustnost beze změn kódu.
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
'bentoml containerize' vytváří standardní obraz OCI/Docker z Bento pro nasazení.
Připnutí a vložení prostředí činí zabalenou službu reprodukovatelnou a konzistentní, ať běží kdekoli.
Učte se dál
Pro toto téma bylo vybráno více průvodců
DalšíDalší průvodce
Spekulativní úpravy pro modely kódu
Technický