BentoML والتعبئة النموذجية
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos".
نظرة عامة
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
الغوص العميق
عندما ينتهي عالم البيانات من تدريب النموذج، فإن إدخاله إلى الإنتاج يعني عادةً كتابة تعليمات برمجية للخدمة يدويًا، وتثبيت التبعيات، وإنشاء صورة Docker، وتوصيل واجهة برمجة التطبيقات (API). يقوم BentoML بأتمتة هذا. يمكنك حفظ نموذج في مخزن النماذج المحلي الخاص به، ثم تحديد فئة خدمة بنقطة نهاية API مزينة للتعامل مع الاستدلال. يقوم أمر "bentoml build" بتجميع النموذج ورمز Python الخاص بك وإصدارات التبعية وتكوين وقت التشغيل في إصدار Bento مستقل بذاته. من هناك ينتج "bentoml Containerize" صورة OCI Docker. يدعم BentoML تقريبًا كل إطار عمل (PyTorch، وTensorFlow، وscikit-learn، وXGBoost، وHugging Face Transformers، وONNX) ويضيف مجموعات صغيرة قابلة للتكيف، والتي تجمع الطلبات الواردة تلقائيًا لزيادة إنتاجية وحدة معالجة الرسومات إلى أقصى حد دون تغيير التعليمات البرمجية الخاصة بك.
البصيرة الفنية
يقوم BentoML بفصل "العدائين" (تنفيذ نموذج الحوسبة الثقيلة) عن منطق خادم API. يمكن للعدائين التوسع بشكل مستقل والتشغيل في العمليات المنفذة الخاصة بهم، بينما يتعامل خادم HTTP/gRPC خفيف الوزن مع توجيه الطلبات والإدخال/الإخراج. يعمل نظام التجميع التكيفي الخاص به على ضبط حجم الدفعة ونافذة زمن الوصول في وقت التشغيل ديناميكيًا، بحيث يمتص تدفقات حركة المرور ويبقي المسرعات باهظة الثمن مشغولة. يتضمن تنسيق Bento الموحد بيانًا وملفات نموذجية وبيئة قابلة للتكرار، مما يجعل البنيات حتمية عبر الأجهزة.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل BentoML والتعبئة النموذجية
لقد اتجهت BentoML بقوة إلى نموذج اللغة الكبير وخدمة الذكاء الاصطناعي التوليدية، مع تقديم OpenLLM وBentoCloud استجابات رمزية متدفقة، وقياس تلقائي، وجدولة مدركة لوحدة معالجة الرسومات. توقع تكاملًا أكثر إحكامًا مع مُحسِّنات الاستدلال مثل vLLM وTensorRT-LLM، ودعمًا أفضل لأنظمة الذكاء الاصطناعي المركبة متعددة النماذج، ومسارات أكثر سلاسة من Bento المعبأ إلى نشر GPU بدون خادم. مع انتقال الفرق من النماذج الفردية إلى خطوط الأنابيب الوكلاءية، تضع BentoML نفسها كطبقة التغليف والخدمة التي تربط هذه المكونات معًا.
التنفيذ في العالم الحقيقي
يقوم فريق كشف الاحتيال بحفظ نموذج XGBoost في متجر BentoML وإنشاء Bento الذي يكشف عن نقطة نهاية REST /predict لخدمة المدفوعات للاتصال بها في الوقت الفعلي.
يستخدم فريق النظام الأساسي لتعلم الآلة "bentoml Containerize" لتحويل نموذج مشاعر Hugging Face إلى صورة Docker يتم نشرها في مجموعة Kubernetes الداخلية الخاصة بهم.
تقدم الشركة الناشئة نموذج Llama مضبوطًا بدقة باستخدام OpenLLM (المبني على BentoML)، وتدفق الرموز المميزة إلى واجهة مستخدم الدردشة مع التجميع التكيفي الذي يحافظ على تشبع وحدة معالجة الرسومات.
تقوم إحدى شركات الرؤية الحاسوبية بتجميع مصنف صور PyTorch مع خط أنابيب المعالجة المسبقة الخاص به في جهاز Bento واحد بحيث يتم استخدام التحويلات الدقيقة في التدريب مع النموذج.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the BentoML and Model Packaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
التعديلات التأملية لنماذج التعليمات البرمجية
الأسئلة المتداولة
What is BentoML and Model Packaging?
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos". إنه يسد الفجوة بين النموذج الموجود في دفتر الملاحظات وخدمة الإنتاج التي يمكنها بالفعل تقديم التنبؤات عبر واجهة برمجة التطبيقات.
ما هي الوحدة القياسية القابلة للنشر التي تنتجها BentoML؟
يقوم BentoML بتجميع النموذج والتعليمات البرمجية الخاصة به والتبعيات وتكوين وقت التشغيل في وحدة مستقلة بذاتها تسمى Bento.
ما الذي يحسّنه التجميع الدقيق التكيفي لـ BentoML في المقام الأول؟
تعمل مجموعات الدفع التكيفية على تجميع الطلبات الواردة في وقت التشغيل لإبقاء وحدات معالجة الرسومات مشغولة وزيادة الإنتاجية دون تغيير التعليمات البرمجية.
في بنية BentoML، ما الذي يتعامل مع تنفيذ نموذج الحوسبة الثقيلة بشكل منفصل عن خادم API؟
يقوم المتسابقون بتغليف الاستدلال النموذجي ويمكنهم التوسع في العمليات المنفذة الخاصة بهم، المنفصلة عن خادم API خفيف الوزن.
ما الأمر الذي يحول Bento المدمج إلى صورة OCI Docker؟
تنتج "bentoml Containerize" صورة OCI/Docker قياسية من Bento للنشر.
أي مما يلي يعد السبب الرئيسي وراء قيام BentoML بتضمين إصدارات التبعية في Bento؟
يؤدي تثبيت البيئة وتضمينها إلى جعل الخدمة المجمعة قابلة للتكرار ومتسقة أينما يتم تشغيلها.