تحسين الاستدلال بالذكاء الاصطناعي

تشمل التقنيات التجميع، التخزين المؤقت، تقليل الدقة، اختيار النماذج، والتنفيذ بكفاءة. اختارها من عنق زجاجة مقياس بدلا من افتراض أن كل تحسين يساعد في كل عبء عمل.

النقاط الرئيسية

• قم بمقارنة أعباء العمل الواقعية.
• أعد اختبار الجودة بعد التغييرات الرقمية.
• تحسين المرحلة المسيطرة من الطلب الكامل.

قياس زمن التأخير من البداية إلى النهاية، ومعدل الإنتاجية، والذاكرة، وجودة المهام على مدخلات واقعية. يشمل البدايات الباردة، والتزامن، والطلبات الطويلة، والإلغاء. قد لا يمثل المعيار الذي يستخدم مدخلا واحدا مغذا خدمة موجهة للمستخدم. يمكن أن يحسن استخدام الأجهزة من خلال معالجة الطلبات معا، لكن انتظار تكوين دفعة يمكن أن يزيد من التأخير الفردي. يساعد التخزين المؤقت في تكرار العمل فقط عندما يلتقط مفتاح التخزين المؤقت النموذج المناسب، الإدخال، الأذونات، والإصدار. يمكن أن يعيد التخزين المؤقت غير الصحيح نتائج قديمة أو غير مصرح بها. يمكن أن يقلل الدقة أو التكميم من الذاكرة والحوسبة، لكن تأثير الجودة يعتمد على النموذج والأجهزة والطريقة والمهمة. قارن مع التكوين الأصلي باستخدام نفس أمثلة التقييم، بما في ذلك الحالات النادرة والحساسة عدديا. تحسين مسار الطلب الكامل. قد تهيمن عملية الاسترجاع، الترميز، نقل الشبكة، والتعامل مع المخرجات على وقت تنفيذ النموذج. غير عاملا ذا معنى واحدا في كل مرة وسجل كل من التحسن وأي انحدار. الهدف هو إنجاز مهمة بشكل أفضل، وليس رقم نقل معزول أكثر جاذبية.

1. في الطلب المصمم، يستغرق تنفيذ النموذج 400 مللي ثانية وكل العمل الآخر 600 مللي ثانية.
2. جعل النموذج أسرع بمرتين يقلل من الوقت الكلي من 1000 مللي ثانية إلى 800 مللي ثانية: أي تقليل شامل بنسبة 20٪.
3. قس المراحل الأخرى قبل افتراض أن تحسين نموذج آخر هو التغيير الأعلى قيمة.

يوضح مثال التوقيت المخترع لماذا تسريع المكون ليس هو نفسه تسريع النظام.