LegközelebbKövetkező útmutató
Spekulatív szerkesztések kódmodellekhez
Műszaki
Műszaki ÚTMUTATÓ
A BentoML egy nyílt forráskódú Python-keretrendszer, amely a betanított gépi tanulási modelleket szabványosított, telepíthető „Bentos”-nak nevezett egységekbe csomagolja.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Áthidalja a szakadékot egy notebookban ülő modell és egy olyan éles szolgáltatás között, amely ténylegesen képes előrejelzéseket szolgálni egy API-n keresztül.
Amikor egy adattudós befejezi a modell betanítását, a termelésbe állítás általában azt jelenti, hogy manuálisan meg kell írni a kiszolgáló kódot, rögzíteni kell a függőségeket, fel kell építeni egy Docker-képet, és be kell kötni egy API-t. A BentoML ezt automatizálja. Ment egy modellt a helyi modelltárolójába, majd definiál egy szolgáltatási osztályt egy olyan API-végponttal, amely a következtetések kezelésére szolgál. A „bentoml build” parancs a modellt, a Python-kódot, a függőségi verziókat és a futásidejű konfigurációt egy önálló, verziószámmal ellátott Bento-ba csomagolja. Innentől a „bentoml containerize” egy OCI Docker képet hoz létre. A BentoML szinte minden keretrendszert támogat (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX), és hozzáadja az adaptív mikro kötegelést, amely automatikusan csoportosítja a bejövő kéréseket a GPU átviteli sebességének maximalizálása érdekében a kód megváltoztatása nélkül.
Egy csalásfelderítő csapat elment egy XGBoost modellt a BentoML áruházba, és létrehoz egy Bento-t, amely egy /predict REST végpontot tesz elérhetővé a fizetési szolgáltatás valós időben történő hívásához.
Egy ML platform csapata „bentoml containerize” segítségével alakítja át a Hugging Face hangulatmodellt a belső Kubernetes-fürtjükbe telepített Docker-képpé.
Egy startup egy finomhangolt Llama-modellt szolgál ki OpenLLM-mel (BentoML-re épülve), tokeneket streamelve egy chat-kezelőfelületre adaptív kötegeléssel, amely a GPU-t telítetten tartja.
Egy számítógépes látással foglalkozó cég egy PyTorch képosztályozót és annak előfeldolgozó folyamatát egy Bentoba csomagolja, így a képzés során használt pontos transzformációkat a modellel együtt szállítják.
A BentoML keményen hajlott a nagy nyelvi modellekre és a generatív mesterséges intelligencia kiszolgálására, az OpenLLM és a BentoCloud streaming token válaszokat, automatikus skálázást és GPU-tudatos ütemezést kínál. Szorosabb integrációra számíthat az olyan következtetés-optimalizálókkal, mint a vLLM és a TensorRT-LLM, a többmodelles összetett AI-rendszerek jobb támogatása, valamint a csomagolt Bento-tól a kiszolgáló nélküli GPU-telepítésig gördülékenyebb út. Ahogy a csapatok az egyedi modellekről az ügynöki csővezetékek felé haladnak, a BentoML úgy pozicionálja magát, mint a csomagoló és kiszolgáló réteg, amely összeköti ezeket az összetevőket.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A BentoML egy nyílt forráskódú Python-keretrendszer, amely a betanított gépi tanulási modelleket szabványosított, telepíthető „Bentos”-nak nevezett egységekbe csomagolja. Áthidalja a szakadékot egy notebookban ülő modell és egy olyan éles szolgáltatás között, amely ténylegesen képes előrejelzéseket szolgálni egy API-n keresztül.
A BentoML egy modellt, annak kódját, függőségeit és futásidejű konfigurációját egy Bento nevű, változatos, önálló egységbe csomagolja.
Az adaptív kötegelés futás közben csoportosítja a bejövő kéréseket, hogy a GPU-kat lefoglalva tartsa, és maximalizálja az átviteli sebességet kódmódosítások nélkül.
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
A „bentoml containerize” szabványos OCI/Docker-képet hoz létre a Bento-ból a telepítéshez.
A környezet rögzítése és beágyazása reprodukálhatóvá és konzisztenssé teszi a csomagolt szolgáltatást, bárhol is fut.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Spekulatív szerkesztések kódmodellekhez
Műszaki