الدليل الفني
نماذج BitNet ذات 1 بت وثلاثي
BitNet هو خط بحث Microsoft يوضح أنه يمكن تدريب نماذج اللغات الكبيرة بأوزان تقتصر على 1 بت فقط، أو ثلاث قيم في الحالة الثلاثية.
استمع إلى هذا الدليلرواه الذكاء الاصطناعي · ~2 min
في هذه الصفحةقراءة لمدة دقيقتين
نظرة عامة
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
الغوص العميق
تقوم النماذج التقليدية بتخزين كل وزن كرقم 16 بت. تستبدل BitNet هذه التمثيلات بتمثيلات منخفضة البت للغاية. يستخدم متغير BitNet b1.58 المؤثر أوزانًا ثلاثية، يقتصر كل منها على -1 أو 0 أو +1، والتي تصل إلى حوالي 1.58 بت من المعلومات لكل وزن (قاعدة السجل 2 من 3). الفكرة الحاسمة هي أن النموذج يتم تدريبه من الصفر باستخدام هذه القيود، ولا يتم قياسه كميًا بعد ذلك، لذلك يتعلم أن يكون قويًا بالدقة المحدودة. نظرًا لأن الأوزان هي فقط -1 أو 0 أو +1، فإن الضربات الباهظة الثمن في رياضيات المصفوفات تنهار إلى عمليات جمع وطرح. والنتيجة هي انخفاض كبير في عرض النطاق الترددي للذاكرة، واستهلاك الطاقة، وزمن الوصول، مع تمكين القيمة 0 أيضًا من التناثر، كل ذلك مع مطابقة النماذج كاملة الدقة بأحجام قابلة للمقارنة في العديد من المعايير.
التنفيذ في العالم الحقيقي
Microsoft's BitNet b1.58 2B4T يعمل بكفاءة على وحدة المعالجة المركزية (CPU)، مما يتيح استدلال LLM بدون وحدة معالجة رسومات مخصصة.
أدوات مساعدة على الجهاز تناسب طرازًا قادرًا في ذاكرة الهاتف المحدودة بفضل أوزان تبلغ 1.58 بت تقريبًا.
تقليل تكلفة طاقة الاستدلال والكربون لخدمات واجهة برمجة التطبيقات كبيرة الحجم عن طريق استبدال مضاعفات الفاصلة العائمة بالإضافات.
عمليات النشر المتطورة (إنترنت الأشياء والأجهزة المدمجة) حيث تجعل الأوزان الثلاثية فهم اللغة المحلية أمرًا ممكنًا ضمن ميزانيات الطاقة المحدودة.
مستقبل نماذج BitNet ذات 1 بت وثلاثية
تشير BitNet إلى المستقبل حيث يتم تشغيل النماذج القادرة على الهواتف وأجهزة الكمبيوتر المحمولة والأجهزة المتطورة بدون وحدات معالجة الرسومات لمراكز البيانات. إن عنق الزجاجة الرئيسي هو الأجهزة: فالرقائق اليوم مبنية على الرياضيات ذات الفاصلة العائمة، لذا فإن المسرعات المتخصصة التي تم تحسينها لعمليات الإضافة الثلاثية فقط يمكن أن تضاعف الفوائد. توقع المزيد من البنى الأصلية ذات 1 بت، ونماذج أكبر على طراز BitNet، والتكامل مع المساعدين الموجودين على الجهاز حيث يكون عمر البطارية والخصوصية مهمًا، مما قد يعيد تشكيل اقتصاديات استدلال الذكاء الاصطناعي.
وضعها موضع التنفيذ
لماذا يهم
- التكلفة والميزانية. تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
- قرارات أوضح. يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
- مراقبة الجودة. تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
احترس من
- يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
- غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
- يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
الخطوات التالية
- تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
- المعيار في ظل ظروف التحميل والبيانات الواقعية.
- مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
- قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
رسالة إخبارية مجانية
احصل على الإحاطة اليومية لمنظمة العفو الدولية
ثلاث قصص تم التحقق منها بواسطة الذكاء الاصطناعي كل صباح من أيام الأسبوع، مكتوبة باللغة الإنجليزية البسيطة. مجاني للأبد، بدون إعلانات.
بريد إلكتروني واحد كل يوم من أيام الأسبوع. إلغاء الاشتراك بنقرة واحدة. نحن لا نبيع أو نشارك عنوانك أبدًا.
اختبر نفسك
Take the 1-Bit and Ternary BitNet Models quiz
تعليقات فورية على كل إجابة، وشهادة قابلة للمشاركة مع معرف يمكن التحقق منه بمجرد اجتياز الدورة التدريبية.
دعم تعليم الذكاء الاصطناعي المجاني. AI Understanding هي منظمة 501(c)(3) غير ربحية - لا إعلانات ولا نظام حظر الاشتراك غير المدفوع على الإطلاق. قم بالتبرع
الأسئلة المتداولة
What is 1-Bit and Ternary BitNet Models?
BitNet هو خط بحث Microsoft يوضح أنه يمكن تدريب نماذج اللغات الكبيرة بأوزان تقتصر على 1 بت فقط، أو ثلاث قيم في الحالة الثلاثية. يؤدي هذا إلى خفض استخدام الذاكرة والطاقة بشكل كبير مع الحفاظ على دقة قوية بشكل مدهش.
لماذا يتم وصف BitNet b1.58 بأنه يستخدم حوالي 1.58 بت لكل وزن؟
تأخذ الأوزان الثلاثية واحدة من ثلاث قيم، ويتطلب تمثيل الحالات الثلاث سجل الأساس 2 من 3، أي 1.58 بت تقريبًا.
ما الذي يجعل عمليات مصفوفة BitNet أرخص من النماذج القياسية؟
مع الأوزان المحدودة بـ -1 و0 و+1، فإن الضرب بوزن يقلل من إضافة قيمة أو طرحها أو تجاهلها، مما يؤدي إلى تجنب مضاعفات الفاصلة العائمة المكلفة.
أثناء التدريب، كيف تقوم BitNet بتحديث الأوزان على الرغم من خطوة التكميم غير القابلة للتفاضل؟
تحتفظ BitNet بنسخة رئيسية عالية الدقة من الأوزان وتستخدم المقدر المباشر لتمرير التدرجات من خلال القياس الكمي، مما يتيح الانتشار العكسي العادي.
ما هي الفائدة الإضافية التي يوفرها السماح بالقيمة 0 (الثنائية، وليست الثنائية النقية)؟
تتيح الحالة 0 إيقاف تشغيل بعض الاتصالات بشكل فعال، مما يوفر تناثرًا يمكن استغلاله لمزيد من الكفاءة.
ما هو التحدي الرئيسي الذي يواجه الأجهزة لتحقيق مكاسب الكفاءة الكاملة لـ BitNet؟
تم تصميم المسرعات الحالية حول مضاعفة الفاصلة العائمة، لذلك هناك حاجة إلى أجهزة مخصصة للعمليات القائمة على الإضافة الثلاثية لفتح مزايا السرعة والطاقة الخاصة بـ BitNet بشكل كامل.
استمر في التعلم
أدلة ذات صلة
تم اختيار المزيد من الأدلة لهذا الموضوع