ماذا حدث
تشير Lec إلى أن شركة Qualcomm كشفت عن الجيل التالي من وحدة المعالجة العصبية Hexagon في 10 سبتمبر من أجل أحمال عمل الذكاء الاصطناعي المستمر على الأجهزة المحمولة. يضيف التصميم المُبلغ عنه مُسرّع العناصر لأحمال عمل المحولات، ويزيد الذاكرة المشتركة بنسبة 50%، ويدعم نماذج مزيج من الخبراء بما يصل إلى 30 مليار معلمة، مع ما يقرب من 3 مليارات معلمة نشطة لكل رمز مميز تم إنشاؤه. وفقًا لـ The Lec، تدعم وحدة NPU تنسيقات البيانات FP16 وINT2 وINT4 وINT8 وFP8. تدعي شركة كوالكوم أن أداء التعبئة المسبقة لـ INT4 يمكن أن يكون أسرع بنسبة تصل إلى 50% وأن الاستجابات يمكن أن تبدأ في غضون 1.5 ثانية، على الرغم من أن Lec لم يبلغ عن اختبار مستقل لهذه الأرقام. تهدف وحدة NPU إلى العمل مع وحدة المعالجة المركزية Snapdragon's Oryon ووحدة معالجة الرسوميات Adreno لسير العمل متعدد الخطوات ومعالجة الذكاء الاصطناعي المتعلقة بالرسومات. يقول التقرير إن شركة كوالكوم ستقدم مزيدًا من التفاصيل في قمة Snapdragon في الولايات المتحدة في الفترة من 22 إلى 24 سبتمبر. ولم يحدد المصدر هاتفًا ذكيًا محددًا أو تاريخ إطلاق أو توفر للبيع بالتجزئة أو سعرًا أو نتائج معيارية مؤكدة لجهة خارجية.
تشير Lec إلى أن شركة Qualcomm كشفت عن الجيل التالي من Hexagon NPU في 10 سبتمبر، مما يجعلها أجهزة محمولة لأنظمة الذكاء الاصطناعي التي تفسر السياق والتفكير عبر التطبيقات وتؤدي المهام للمستخدمين. تضيف الأجهزة المُبلغ عنها مُسرّع العناصر إلى جانب الامتدادات العددية والمتجهة والمصفوفة الموجودة، بهدف تحسين حساب نموذج المحولات أثناء إدارة استخدام الطاقة.
يقول التقرير أن سعة الذاكرة المشتركة أعلى بنسبة 50% مما كانت عليه في التصميم السابق. الأساس المنطقي المعلن لشركة Qualcomm هو أن الحفاظ على حالة النموذج وعمليات التنشيط وبيانات الموتر الوسيطة بالقرب من المعالج يمكن أن يقلل عمليات النقل إلى DRAM الخارجية، مما قد يؤدي إلى تحسين الاحتفاظ بالسياق وتبديل المهام. لا يقدم التقرير مقارنة مستقلة مع تطبيق سابق لـ Hexagon.
يقال إن Hexagon الجديد يدعم نماذج مختلطة من الخبراء مع ما يصل إلى 30 مليار معلمة، مع تنشيط حوالي 3 مليارات معلمة موجهة لكل رمز مميز. تشير Lec أيضًا إلى أن إدارة فلاش إلى ذاكرة NAND والتخزين المؤقت تهدف إلى تحميل المكونات المتخصصة ذات الصلة فقط في DRAM والاحتفاظ بالمكونات المستخدمة بشكل متكرر في ذاكرة التخزين المؤقت.
يقال إن وحدة NPU تدعم التنسيقات الدقيقة FP16 وINT2 وINT4 وINT8 وFP8. يعزو Lec مطالبات التعبئة المسبقة لـ INT4 بشكل أسرع بنسبة تصل إلى 50% وتبدأ الاستجابة خلال 1.5 ثانية لشركة Qualcomm. لا يتم توفير أي اختبارات مستقلة أو مدى توفر الجهاز أو الأسعار أو منتجات استهلاكية محددة.
لماذا يهم
إذا وصل تصميم Qualcomm المبلغ عنه إلى الأجهزة الاستهلاكية كما هو موضح، فقد يجعل أنظمة الذكاء الاصطناعي الأكبر والأكثر وعيًا بالسياق أكثر عملية للتشغيل محليًا على الهواتف. قد يؤدي الاحتفاظ بالمزيد من بيانات النموذج بالقرب من المعالج إلى تقليل حركة مرور الذاكرة وزمن الوصول، في حين يمكن أن توفر بنيات خليط الخبراء إمكانية الوصول إلى القدرات المتخصصة دون تنشيط كل معلمة لكل مهمة. وهذا مهم بالنسبة للخصوصية والاستجابة والاستخدام دون الاتصال بالإنترنت، ولكن الفائدة العملية تظل غير مؤكدة حتى تتوفر الأجهزة والنماذج والاختبارات المستقلة.
يستهدف الإعلان قيدًا مركزيًا في الذكاء الاصطناعي المحمول: تشغيل النماذج القادرة ضمن حدود ضيقة على عرض النطاق الترددي للذاكرة واستخدام البطارية ووقت الاستجابة. يمكن أن يؤدي وجود مجموعة أكبر من الذاكرة المشتركة والتنشيط الانتقائي لمكونات خليط الخبراء إلى تقليل كمية البيانات المنقولة أثناء الاستدلال المحلي، إذا كانت بنية Qualcomm تعمل كما هو موضح.
يمكن أن يكون للمعالجة المحلية فوائد عملية لأنه قد يتم التعامل مع بعض التفاعلات على الهاتف دون إرسال كل المدخلات إلى خدمة بعيدة. ومع ذلك، لا يقدم المصدر ضمانات للخصوصية، أو وظائف دون الاتصال بالإنترنت، أو تحسينات للبطارية، أو أداء عبر التطبيقات الحقيقية. تعتمد هذه النتائج على البرامج وضغط النماذج والحدود الحرارية وتنفيذ الأجهزة المحمولة.
يشير التكامل المبلغ عنه مع وحدة المعالجة المركزية ووحدة معالجة الرسومات إلى أن شركة Qualcomm تتعامل مع الذكاء الاصطناعي الوكيل باعتباره عبء عمل على النظام الأساسي بدلاً من ميزة تسريع معزولة. وستعتمد أهميتها على ما إذا كان بإمكان المطورين الوصول إلى الأجهزة بكفاءة وما إذا كان صانعو الهواتف يقومون بشحن النماذج والتطبيقات التي تستخدمها.
الآلية التفاعلية: كيف تعمل فعليًا
استكشف التكنولوجيا الأساسية وراء هذا التطور بشكل تفاعلي.
crm_get_transaction(id='4092').An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
ماذا تشاهد بعد ذلك
سيكون الدليل المهم التالي هو الكشف عن Snapdragon Summit من Qualcomm والأجهزة النهائية التي تستخدم وحدة NPU. راقب منصات الشرائح المسماة، والنماذج المدعومة، وأدوات المطورين، والقياسات الفعلية على الجهاز، والاستهلاك المستمر للطاقة، وما إذا كانت أوقات الاستجابة المطالب بها تنطبق على سير عمل الوكيل الكامل بدلاً من العروض التوضيحية المحدودة. لم يتم توثيق التوفر والتسعير والتوزيع الإقليمي في التقرير.
تقول شركة كوالكوم إنه سيتم الكشف عن مزيد من التفاصيل في Snapdragon Summit في الفترة من 22 إلى 24 سبتمبر. وقد توضح هذه الإفصاحات منصة Snapdragon المحددة والجدول الزمني للنشر وبيئات التشغيل المدعومة ووصول المطورين.
يجب أن يتحقق الاختبار المستقل من تحسين أداء INT4 المُبلغ عنه، ومطالبة بدء الاستجابة خلال 1.5 ثانية، واستهلاك الطاقة، والأداء المستمر في ظل أعباء العمل الوكيلة متعددة الخطوات. المصدر لا يقدم مثل هذا الاختبار.
ليس من المعروف حتى الآن أي الهواتف الذكية ستستخدم وحدة NPU، أو متى ستصل إلى العملاء، أو ما هي تكلفتها، أو ما إذا كان سيتم تمكين جميع الإمكانيات المبلغ عنها عند الإطلاق.