نظرة عامة
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos". إنه يسد الفجوة بين النموذج الموجود في دفتر الملاحظات وخدمة الإنتاج التي يمكنها بالفعل تقديم التنبؤات عبر واجهة برمجة التطبيقات.
يعد BentoML وModel Packaging بمثابة لبنة بناء تقنية تؤثر على جودة النموذج وتكلفة البنية التحتية وزمن الوصول والموثوقية على نطاق واسع.
الغوص العميق
عندما ينتهي عالم البيانات من تدريب النموذج، فإن إدخاله إلى الإنتاج يعني عادةً كتابة تعليمات برمجية للخدمة يدويًا، وتثبيت التبعيات، وإنشاء صورة Docker، وتوصيل واجهة برمجة التطبيقات (API). يقوم BentoML بأتمتة هذا. يمكنك حفظ نموذج في مخزن النماذج المحلي الخاص به، ثم تحديد فئة خدمة بنقطة نهاية API مزينة للتعامل مع الاستدلال. يقوم أمر "bentoml build" بتجميع النموذج ورمز Python الخاص بك وإصدارات التبعية وتكوين وقت التشغيل في إصدار Bento مستقل بذاته. من هناك ينتج "bentoml Containerize" صورة OCI Docker. يدعم BentoML تقريبًا كل إطار عمل (PyTorch، وTensorFlow، وscikit-learn، وXGBoost، وHugging Face Transformers، وONNX) ويضيف مجموعات صغيرة قابلة للتكيف، والتي تجمع الطلبات الواردة تلقائيًا لزيادة إنتاجية وحدة معالجة الرسومات إلى أقصى حد دون تغيير التعليمات البرمجية الخاصة بك.
البصيرة الفنية
يقوم BentoML بفصل "العدائين" (تنفيذ نموذج الحوسبة الثقيلة) عن منطق خادم API. يمكن للعدائين التوسع بشكل مستقل والتشغيل في العمليات المنفذة الخاصة بهم، بينما يتعامل خادم HTTP/gRPC خفيف الوزن مع توجيه الطلبات والإدخال/الإخراج. يعمل نظام التجميع التكيفي الخاص به على ضبط حجم الدفعة ونافذة زمن الوصول في وقت التشغيل ديناميكيًا، بحيث يمتص تدفقات حركة المرور ويبقي المسرعات باهظة الثمن مشغولة. يتضمن تنسيق Bento الموحد بيانًا وملفات نموذجية وبيئة قابلة للتكرار، مما يجعل البنيات حتمية عبر الأجهزة.
إتقان BentoML وتغليف النماذج
BentoML هو إطار عمل Python مفتوح المصدر يجمع نماذج التعلم الآلي المدربة في وحدات موحدة وقابلة للنشر تسمى "Bentos". إنه يسد الفجوة بين النموذج الموجود في دفتر الملاحظات وخدمة الإنتاج التي يمكنها بالفعل تقديم التنبؤات عبر واجهة برمجة التطبيقات. يعد BentoML وModel Packaging بمثابة لبنة بناء تقنية تؤثر على جودة النموذج وتكلفة البنية التحتية وزمن الوصول والموثوقية على نطاق واسع. لبناء فهم عميق، تعامل مع BentoML وModel Packaging كنموذج تشغيل، وليس كميزة واحدة: حدد النتائج المرغوبة، ووضح الافتراضات، وافصل ما يمكن للنظام القيام به بشكل موثوق عما لا يزال يتطلب حكم الخبراء.
من الناحية العملية، تعمل الفرق القوية التي تستخدم BentoML وModel Packaging على تحسين خيارات البنية والبيانات والبنية التحتية مقابل الموثوقية والتكلفة. وهي تقوم بتوثيق معايير نجاح واضحة، واختبارها مقابل بيانات واقعية وسير العمل، والتكرار بناءً على أنماط الفشل الملحوظة بدلاً من الانتصارات المعيارية لمرة واحدة. وهذا هو المكان الذي يتحول فيه الفهم النظري إلى قدرة دائمة عبر المنتج والسياسة والعمليات.
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات. وفي الوقت نفسه، يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع. ويتمثل النهج الأكثر مرونة في الجمع بين سرعة التجريب وانضباط الحوكمة: تشغيل البرامج التجريبية، والتقاط الأدلة، ونشر سجلات القرارات، وتحديث الضمانات بشكل مستمر مع تطور سلوك النموذج، وتوقعات المستخدم، والمتطلبات التنظيمية.
التأثير الاستراتيجي
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج. وفي عمليات النشر عالية الجودة، تتم ترجمة ذلك إلى قواعد تشغيل قابلة للقياس، وحدود ملكية، وطقوس مراجعة متكررة حتى تتمكن الفرق من توسيع نطاق الثقة بدلاً من توسيع نطاق الغموض.
التنفيذ في العالم الحقيقي
يقوم فريق كشف الاحتيال بحفظ نموذج XGBoost في متجر BentoML وإنشاء Bento الذي يكشف عن نقطة نهاية REST /predict لخدمة المدفوعات للاتصال بها في الوقت الفعلي.
يستخدم فريق النظام الأساسي لتعلم الآلة "bentoml Containerize" لتحويل نموذج مشاعر Hugging Face إلى صورة Docker يتم نشرها في مجموعة Kubernetes الداخلية الخاصة بهم.
تقدم الشركة الناشئة نموذج Llama مضبوطًا بدقة باستخدام OpenLLM (المبني على BentoML)، وتدفق الرموز المميزة إلى واجهة مستخدم الدردشة مع التجميع التكيفي الذي يحافظ على تشبع وحدة معالجة الرسومات.
تقوم إحدى شركات الرؤية الحاسوبية بتجميع مصنف صور PyTorch مع خط أنابيب المعالجة المسبقة الخاص به في جهاز Bento واحد بحيث يتم استخدام التحويلات الدقيقة في التدريب مع النموذج.
أنماط التنفيذ
BentoML ونموذج التعبئة والتغليف في الممارسة العملية
يقوم فريق كشف الاحتيال بحفظ نموذج XGBoost في متجر BentoML وإنشاء Bento الذي يكشف عن نقطة نهاية REST /predict لخدمة المدفوعات للاتصال بها في الوقت الفعلي.
يقوم فريق كشف الاحتيال بحفظ نموذج XGBoost في متجر BentoML وإنشاء Bento الذي يكشف عن نقطة نهاية REST/التنبؤ بها لخدمة المدفوعات للاتصال في الوقت الفعلي. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء مع مرور الوقت.
BentoML ونموذج التعبئة والتغليف في الممارسة العملية
يستخدم فريق النظام الأساسي لتعلم الآلة "bentoml Containerize" لتحويل نموذج مشاعر Hugging Face إلى صورة Docker يتم نشرها في مجموعة Kubernetes الداخلية الخاصة بهم.
يستخدم فريق منصة ML "حاوية bentoml" لتحويل نموذج مشاعر Hugging Face إلى صورة Docker يتم نشرها في مجموعة Kubernetes الداخلية الخاصة بهم. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
BentoML ونموذج التعبئة والتغليف في الممارسة العملية
تقدم الشركة الناشئة نموذج Llama مضبوطًا بدقة باستخدام OpenLLM (المبني على BentoML)، وتدفق الرموز المميزة إلى واجهة مستخدم الدردشة مع التجميع التكيفي الذي يحافظ على تشبع وحدة معالجة الرسومات.
تقدم الشركة الناشئة نموذج Llama مضبوطًا بدقة باستخدام OpenLLM (المبني على BentoML)، وتدفق الرموز المميزة إلى واجهة مستخدم للدردشة مع مجموعات متكيفة تحافظ على وحدة معالجة الرسومات المشبعة. عادةً ما تحصل الفرق على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحتفظ بمسار تصعيد بشري لحالات الحافة، وتتتبع مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
BentoML ونموذج التعبئة والتغليف في الممارسة العملية
تقوم إحدى شركات الرؤية الحاسوبية بتجميع مصنف صور PyTorch مع خط أنابيب المعالجة المسبقة الخاص به في جهاز Bento واحد بحيث يتم استخدام التحويلات الدقيقة في التدريب مع النموذج.
تقوم إحدى شركات الرؤية الحاسوبية بتعبئة مصنف صور PyTorch مع خط أنابيب المعالجة المسبقة الخاص به في Bento واحد، وبالتالي فإن التحويلات الدقيقة المستخدمة في التدريب مع نموذج Teams عادةً ما تحصل على نتائج أفضل عندما تحدد حدود الجودة مقدمًا، وتحافظ على مسار تصعيد بشري لحالات الحافة، وتتبع كل من مكاسب الإنتاجية وتكاليف الأخطاء بمرور الوقت.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
المعيار في ظل ظروف التحميل والبيانات الواقعية. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس. تعامل مع كل خطوة كبوابة دليل: إذا لم يتم استيفاء المعايير، قم بإيقاف التشغيل مؤقتًا، وسد الفجوة، وبعد ذلك فقط قم بتوسيع الاستخدام.