BentoML እና ሞዴል ማሸግ
ቤንቶኤምኤል የሰለጠነ የማሽን መማሪያ ሞዴሎችን 'Bentos' ወደ ሚባሉ ወደ መደበኛ እና ሊተገበሩ የሚችሉ ክፍሎች የሚያጠቃልለው ክፍት ምንጭ የፓይዘን ማዕቀፍ ነው።
አጠቃላይ እይታ
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
ጥልቅ ዳይቭ
አንድ የውሂብ ሳይንቲስት ሞዴልን ማሰልጠን ሲጨርስ፣ ወደ ምርት መግባት ማለት አብዛኛውን ጊዜ ኮድን በእጅ መጻፍ፣ ጥገኞችን መሰካት፣ የዶከር ምስል መገንባት እና ኤፒአይን ማገናኘት ማለት ነው። BentoML ይህንን በራስ-ሰር ያደርገዋል። ሞዴልን በአካባቢዎ ባለው የሞዴል ማከማቻ ውስጥ ያስቀምጣሉ፣ ከዚያ የአገልግሎቶች ክፍልን በኤፒአይ የመጨረሻ ነጥብ ይግለጹ። የ'bentoml ግንባታ' ትዕዛዙ ሞዴሉን፣ የእርስዎን የፓይዘን ኮድ፣ የጥገኝነት ስሪቶች እና የሩጫ ጊዜ ውቅርን በራሱ ወደተያዘ፣ ስሪት ወደ ቤንቶ ያስገባል። ከዚያ 'bentoml containerize' የ OCI Docker ምስል ይፈጥራል። ቤንቶኤምኤል ሁሉንም ማዕቀፍ ማለት ይቻላል (PyTorch፣ TensorFlow፣ scikit-learn፣ XGBoost፣ Hugging Face Transformers፣ ONNX) ይደግፋል እና ገቢ ጥያቄዎችን ኮድዎን ሳይቀይሩ የጂፒዩ ፍሰትን ከፍ ለማድረግ በራስ-ሰር የሚሰበስብ።
ቴክኒካዊ ግንዛቤ
ቤንቶኤምኤል 'ሯጮች' (የሂሳብ-ከባድ ሞዴል አፈፃፀም) ከኤፒአይ አገልጋይ ሎጂክ ይለያል። ሯጮች ራሳቸውን ችለው መመዘን እና በራሳቸው የሰራተኛ ሂደቶች መሮጥ ይችላሉ፣ ክብደቱ ቀላል የሆነው HTTP/gRPC አገልጋይ ደግሞ የጥያቄ መስመር እና I/Oን ያስተናግዳል። በውስጡ የሚለምደዉ ባንግ በተለዋዋጭ ሁኔታ ባች መጠንን እና በሂደት ላይ ያለውን የቆይታ መስኮት ያስተካክላል፣ ስለዚህ የትራፊክ ፍንዳታዎችን ይይዛል እና ውድ ማፍጠኛዎችን ስራ ላይ ያደርጋል። ደረጃውን የጠበቀ የቤንቶ ፎርማት አንጸባራቂን፣ ሞዴል ፋይሎችን እና ሊባዛ የሚችል አካባቢን ያካትታል፣ ይህም በማሽኖች ላይ የሚወሰን ግንባታዎችን ያደርጋል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የወደፊት የቤንቶኤምኤል እና የሞዴል ማሸግ
ቤንቶኤምኤል ወደ ትልቅ የቋንቋ ሞዴል እና አመንጪ AI ማገልገል ጠንክሮ ተጠምዷል፣ ከOpenLLM እና BentoCloud ጋር የዥረት ማስመሰያ ምላሾችን፣ አውቶማቲካሊንግ እና ጂፒዩን የሚያውቅ መርሐግብር አቅርቧል። እንደ vLLM እና TensorRT-LLM ካሉ የውሳኔ አመቻቾች ጋር ጥብቅ ውህደትን ይጠብቁ፣ለብዙ ሞዴል ውህድ AI ስርዓቶች የተሻለ ድጋፍ እና ከጥቅል ቤንቶ ወደ አገልጋይ አልባ ጂፒዩ ማሰማራት ለስላሳ መንገዶች። ቡድኖች ከነጠላ ሞዴሎች ወደ ወኪል ቧንቧዎች ሲሸጋገሩ፣ ቤንቶኤምኤል እራሱን እንደ ማሸጊያው እና እነዚያን ክፍሎች አንድ ላይ የሚያገናኝ የማገልገል ንብርብር እያደረገ ነው።
የእውነተኛ-ዓለም አተገባበር
የማጭበርበር ማወቂያ ቡድን የXGBoost ሞዴልን ወደ ቤንቶኤምኤል መደብር ያስቀምጣቸዋል እና የክፍያ አገልግሎቱን በቅጽበት ለመደወል REST የመጨረሻ ነጥብ የሚያጋልጥ ቤንቶ ይሠራል።
የኤምኤል መድረክ ቡድን የመተቃቀፍ ፊት ስሜት ሞዴልን ወደ Docker ምስል ወደ ውስጣዊ የኩበርኔትስ ክላስተር የሚያሰማራውን 'bentoml containerize' ይጠቀማል።
አንድ ጅምር በጥሩ ሁኔታ የተስተካከለ የላማ ሞዴልን በOpenLLM (በቤንቶኤምኤል ላይ የተሰራ) ያገለግላል፣ ቶከኖችን ወደ የውይይት UI በማሰራጨት አስማሚ ባንግ ጂፒዩ እንዲሞላ ያደርገዋል።
የኮምፒዩተር ራዕይ ኩባንያ የፒቶርች ምስል ክላሲፋየር ከቅድመ ዝግጅት ቧንቧ መስመር ጋር ወደ አንድ ቤንቶ በማሸግ ከአምሳያው ጋር በመርከብ ማሰልጠኛ ላይ ጥቅም ላይ ይውላል።
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BentoML and Model Packaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
ለኮድ ሞዴሎች ግምታዊ አርትዖቶች
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is BentoML and Model Packaging?
ቤንቶኤምኤል የሰለጠነ የማሽን መማሪያ ሞዴሎችን 'Bentos' ወደ ሚባሉ ወደ መደበኛ እና ሊተገበሩ የሚችሉ ክፍሎች የሚያጠቃልለው ክፍት ምንጭ የፓይዘን ማዕቀፍ ነው። በማስታወሻ ደብተር ውስጥ በተቀመጠው ሞዴል እና በኤፒአይ ላይ ትንበያዎችን ሊያገለግል በሚችል የምርት አገልግሎት መካከል ያለውን ክፍተት ያስተካክላል።
BentoML የሚያመነጨው ደረጃውን የጠበቀ፣ ሊሰራጭ የሚችል ክፍል ምንድን ነው?
ቤንቶኤምኤል አንድን ሞዴል፣ ኮድ፣ ጥገኞች እና የአሂድ ጊዜ አወቃቀሩን ቤንቶ ተብሎ ወደሚጠራው በራሱ ወደተሰራ አሃድ ይሰበስባል።
የቤንቶኤምኤል አስማሚ ማይክሮ-ባቲንግ በዋነኛነት ምን ያሻሽላል?
ጂፒዩዎች እንዲጠመዱ እና ያለኮድ ለውጦች ከፍተኛ መጠን እንዲጨምሩ ለማድረግ በሂደት ላይ ያሉ ገቢ ጥያቄዎችን የማስተካከያ ባንግ ቡድኖች።
በቤንቶኤምኤል አርክቴክቸር ውስጥ፣ ከኤፒአይ አገልጋይ የተለየ ስሌት-ከባድ የሞዴል አፈጻጸምን ምን ያስተናግዳል?
ሯጮች የሞዴል ፍንጭን ያጠቃልላሉ እና ከቀላል ክብደት ካለው ኤፒአይ አገልጋይ ተለያይተው በራሳቸው የሰራተኛ ሂደቶች ውስጥ መመዘን ይችላሉ።
የትኛው ትእዛዝ ነው የተሰራውን ቤንቶ ወደ OCI Docker ምስል የሚቀይረው?
'bentoml containerize' መደበኛ OCI/Docker ምስል ከቤንቶ ለማሰማራት ያዘጋጃል።
ቤንቶኤምኤል የጥገኝነት ስሪቶችን በቤንቶ ውስጥ የሚያካትት ቁልፍ ምክንያት የትኛው ነው?
አካባቢን መሰካት እና መክተት የታሸገውን አገልግሎት በሚሰራበት ቦታ ሁሉ ሊባዛ የሚችል እና ወጥ ያደርገዋል።