التاليالدليل التالي
التعديلات التأملية لنماذج التعليمات البرمجية
التقنية
الدليل الفني
BentoML والتعبئة النموذجية
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos".
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
It bridges the gap between a model sitting in a notebook and a production service that can actually serve predictions over an API.
الغوص العميق
عندما ينتهي عالم البيانات من تدريب النموذج، فإن إدخاله إلى الإنتاج يعني عادةً كتابة تعليمات برمجية للخدمة يدويًا، وتثبيت التبعيات، وإنشاء صورة Docker، وتوصيل واجهة برمجة التطبيقات (API). يقوم BentoML بأتمتة هذا. يمكنك حفظ نموذج في مخزن النماذج المحلي الخاص به، ثم تحديد فئة خدمة بنقطة نهاية API مزينة للتعامل مع الاستدلال. يقوم أمر "bentoml build" بتجميع النموذج ورمز Python الخاص بك وإصدارات التبعية وتكوين وقت التشغيل في إصدار Bento مستقل بذاته. من هناك ينتج "bentoml Containerize" صورة OCI Docker. يدعم BentoML تقريبًا كل إطار عمل (PyTorch، وTensorFlow، وscikit-learn، وXGBoost، وHugging Face Transformers، وONNX) ويضيف مجموعات صغيرة قابلة للتكيف، والتي تجمع الطلبات الواردة تلقائيًا لزيادة إنتاجية وحدة معالجة الرسومات إلى أقصى حد دون تغيير التعليمات البرمجية الخاصة بك.
التنفيذ في العالم الحقيقي
يقوم فريق كشف الاحتيال بحفظ نموذج XGBoost في متجر BentoML وإنشاء Bento الذي يكشف عن نقطة نهاية REST /predict لخدمة المدفوعات للاتصال بها في الوقت الفعلي.
يستخدم فريق النظام الأساسي لتعلم الآلة "bentoml Containerize" لتحويل نموذج مشاعر Hugging Face إلى صورة Docker يتم نشرها في مجموعة Kubernetes الداخلية الخاصة بهم.
تقدم الشركة الناشئة نموذج Llama مضبوطًا بدقة باستخدام OpenLLM (المبني على BentoML)، وتدفق الرموز المميزة إلى واجهة مستخدم الدردشة مع التجميع التكيفي الذي يحافظ على تشبع وحدة معالجة الرسومات.
تقوم إحدى شركات الرؤية الحاسوبية بتجميع مصنف صور PyTorch مع خط أنابيب المعالجة المسبقة الخاص به في جهاز Bento واحد بحيث يتم استخدام التحويلات الدقيقة في التدريب مع النموذج.
مستقبل BentoML والتعبئة النموذجية
لقد اتجهت BentoML بقوة إلى نموذج اللغة الكبير وخدمة الذكاء الاصطناعي التوليدية، مع تقديم OpenLLM وBentoCloud استجابات رمزية متدفقة، وقياس تلقائي، وجدولة مدركة لوحدة معالجة الرسومات. توقع تكاملًا أكثر إحكامًا مع مُحسِّنات الاستدلال مثل vLLM وTensorRT-LLM، ودعمًا أفضل لأنظمة الذكاء الاصطناعي المركبة متعددة النماذج، ومسارات أكثر سلاسة من Bento المعبأ إلى نشر GPU بدون خادم. مع انتقال الفرق من النماذج الفردية إلى خطوط الأنابيب الوكلاءية، تضع BentoML نفسها كطبقة التغليف والخدمة التي تربط هذه المكونات معًا.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the BentoML and Model Packaging quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is BentoML and Model Packaging?
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos". إنه يسد الفجوة بين النموذج الموجود في دفتر الملاحظات وخدمة الإنتاج التي يمكنها بالفعل تقديم التنبؤات عبر واجهة برمجة التطبيقات.
ما هي الوحدة القياسية القابلة للنشر التي تنتجها BentoML؟
يقوم BentoML بتجميع النموذج والتعليمات البرمجية الخاصة به والتبعيات وتكوين وقت التشغيل في وحدة مستقلة بذاتها تسمى Bento.
ما الذي يحسّنه التجميع الدقيق التكيفي لـ BentoML في المقام الأول؟
تعمل مجموعات الدفع التكيفية على تجميع الطلبات الواردة في وقت التشغيل لإبقاء وحدات معالجة الرسومات مشغولة وزيادة الإنتاجية دون تغيير التعليمات البرمجية.
In BentoML 1.1’s Runner-based architecture, what handles compute-heavy model execution separately from API logic?
BentoML documentation describes Runners as the legacy 1.1 computation units that could execute separately; newer BentoML versions streamline services.
ما الأمر الذي يحول Bento المدمج إلى صورة OCI Docker؟
تنتج "bentoml Containerize" صورة OCI/Docker قياسية من Bento للنشر.
أي مما يلي يعد السبب الرئيسي وراء قيام BentoML بتضمين إصدارات التبعية في Bento؟
يؤدي تثبيت البيئة وتضمينها إلى جعل الخدمة المجمعة قابلة للتكرار ومتسقة أينما يتم تشغيلها.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع