Műszaki ÚTMUTATÓ

BentoML és modellcsomagolás

A BentoML egy nyílt forráskódú Python-keretrendszer, amely a betanított gépi tanulási modelleket szabványosított, telepíthető „Bentos”-nak nevezett egységekbe csomagolja.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A BentoML és a modellcsomagolás jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

Áthidalja a szakadékot egy notebookban ülő modell és egy olyan éles szolgáltatás között, amely ténylegesen képes előrejelzéseket szolgálni egy API-n keresztül.

Mély merülés

Amikor egy adattudós befejezi a modell betanítását, a termelésbe állítás általában azt jelenti, hogy manuálisan meg kell írni a kiszolgáló kódot, rögzíteni kell a függőségeket, fel kell építeni egy Docker-képet, és be kell kötni egy API-t. A BentoML ezt automatizálja. Ment egy modellt a helyi modelltárolójába, majd definiál egy szolgáltatási osztályt egy olyan API-végponttal, amely a következtetések kezelésére szolgál. A „bentoml build” parancs a modellt, a Python-kódot, a függőségi verziókat és a futásidejű konfigurációt egy önálló, verziószámmal ellátott Bento-ba csomagolja. Innentől a „bentoml containerize” egy OCI Docker képet hoz létre. A BentoML szinte minden keretrendszert támogat (PyTorch, TensorFlow, scikit-learn, XGBoost, Hugging Face Transformers, ONNX), és hozzáadja az adaptív mikro kötegelést, amely automatikusan csoportosítja a bejövő kéréseket a GPU átviteli sebességének maximalizálása érdekében a kód megváltoztatása nélkül.

Valós megvalósítás

Egy csalásfelderítő csapat elment egy XGBoost modellt a BentoML áruházba, és létrehoz egy Bento-t, amely egy /predict REST végpontot tesz elérhetővé a fizetési szolgáltatás valós időben történő hívásához.

Egy ML platform csapata „bentoml containerize” segítségével alakítja át a Hugging Face hangulatmodellt a belső Kubernetes-fürtjükbe telepített Docker-képpé.

Egy startup egy finomhangolt Llama-modellt szolgál ki OpenLLM-mel (BentoML-re épülve), tokeneket streamelve egy chat-kezelőfelületre adaptív kötegeléssel, amely a GPU-t telítetten tartja.

Egy számítógépes látással foglalkozó cég egy PyTorch képosztályozót és annak előfeldolgozó folyamatát egy Bentoba csomagolja, így a képzés során használt pontos transzformációkat a modellel együtt szállítják.

A BentoML és a modellcsomagolás jövője

A BentoML keményen hajlott a nagy nyelvi modellekre és a generatív mesterséges intelligencia kiszolgálására, az OpenLLM és a BentoCloud streaming token válaszokat, automatikus skálázást és GPU-tudatos ütemezést kínál. Szorosabb integrációra számíthat az olyan következtetés-optimalizálókkal, mint a vLLM és a TensorRT-LLM, a többmodelles összetett AI-rendszerek jobb támogatása, valamint a csomagolt Bento-tól a kiszolgáló nélküli GPU-telepítésig gördülékenyebb út. Ahogy a csapatok az egyedi modellekről az ügynöki csővezetékek felé haladnak, a BentoML úgy pozicionálja magát, mint a csomagoló és kiszolgáló réteg, amely összeköti ezeket az összetevőket.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the BentoML and Model Packaging quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az a BentoML és a modellcsomagolás?

A BentoML egy nyílt forráskódú Python-keretrendszer, amely a betanított gépi tanulási modelleket szabványosított, telepíthető „Bentos”-nak nevezett egységekbe csomagolja. Áthidalja a szakadékot egy notebookban ülő modell és egy olyan éles szolgáltatás között, amely ténylegesen képes előrejelzéseket szolgálni egy API-n keresztül.

Mi az a szabványosított, telepíthető egység, amelyet a BentoML gyárt?

A BentoML egy modellt, annak kódját, függőségeit és futásidejű konfigurációját egy Bento nevű, változatos, önálló egységbe csomagolja.

Miben javít elsősorban a BentoML adaptív mikro-adagolása?

Az adaptív kötegelés futás közben csoportosítja a bejövő kéréseket, hogy a GPU-kat lefoglalva tartsa, és maximalizálja az átviteli sebességet kódmódosítások nélkül.

In BentoML 1.1’s Runner-based architecture, what handles compute-heavy model execution separately from API logic?

BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.

Melyik parancs alakítja át a beépített Bento-t OCI Docker képpé?

A „bentoml containerize” szabványos OCI/Docker-képet hoz létre a Bento-ból a telepítéshez.

Ezek közül melyik a fő oka annak, hogy a BentoML függőségi verziókat ágyaz be a Bentoba?

A környezet rögzítése és beágyazása reprodukálhatóvá és konzisztenssé teszi a csomagolt szolgáltatást, bárhol is fut.