نماذج BitNet ذات 1 بت وثلاثي
BitNet هو خط بحث Microsoft يوضح أنه يمكن تدريب نماذج اللغات الكبيرة بأوزان تقتصر على 1 بت فقط، أو ثلاث قيم في الحالة الثلاثية.
نظرة عامة
This slashes memory and energy use dramatically while keeping surprisingly strong accuracy.
الغوص العميق
تقوم النماذج التقليدية بتخزين كل وزن كرقم 16 بت. تستبدل BitNet هذه التمثيلات بتمثيلات منخفضة البت للغاية. يستخدم متغير BitNet b1.58 المؤثر أوزانًا ثلاثية، يقتصر كل منها على -1 أو 0 أو +1، والتي تصل إلى حوالي 1.58 بت من المعلومات لكل وزن (قاعدة السجل 2 من 3). الفكرة الحاسمة هي أن النموذج يتم تدريبه من الصفر باستخدام هذه القيود، ولا يتم قياسه كميًا بعد ذلك، لذلك يتعلم أن يكون قويًا بالدقة المحدودة. نظرًا لأن الأوزان هي فقط -1 أو 0 أو +1، فإن الضربات الباهظة الثمن في رياضيات المصفوفات تنهار إلى عمليات جمع وطرح. والنتيجة هي انخفاض كبير في عرض النطاق الترددي للذاكرة، واستهلاك الطاقة، وزمن الوصول، مع تمكين القيمة 0 أيضًا من التناثر، كل ذلك مع مطابقة النماذج كاملة الدقة بأحجام قابلة للمقارنة في العديد من المعايير.
البصيرة الفنية
تستخدم BitNet طبقة BitLinear مخصصة تعمل على قياس الأوزان إلى المستوى الثلاثي وعمليات التنشيط بدقة منخفضة أثناء التمرير الأمامي، مع الاحتفاظ بنسخة "ظل" عالية الدقة من الأوزان لتحديثات التدرج عبر المقدر المباشر. نظرًا لأن كل وزن هو -1 أو 0 أو +1، فإن المنتجات النقطية التي تهيمن على حساب المحولات تصبح عمليات إضافة وطرح بدلاً من مضاعفات الفاصلة العائمة، وهو ما يفتح مكاسب الطاقة والسرعة على الأجهزة المناسبة.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل نماذج BitNet ذات 1 بت وثلاثية
تشير BitNet إلى المستقبل حيث يتم تشغيل النماذج القادرة على الهواتف وأجهزة الكمبيوتر المحمولة والأجهزة المتطورة بدون وحدات معالجة الرسومات لمراكز البيانات. إن عنق الزجاجة الرئيسي هو الأجهزة: فالرقائق اليوم مبنية على الرياضيات ذات الفاصلة العائمة، لذا فإن المسرعات المتخصصة التي تم تحسينها لعمليات الإضافة الثلاثية فقط يمكن أن تضاعف الفوائد. توقع المزيد من البنى الأصلية ذات 1 بت، ونماذج أكبر على طراز BitNet، والتكامل مع المساعدين الموجودين على الجهاز حيث يكون عمر البطارية والخصوصية مهمًا، مما قد يعيد تشكيل اقتصاديات استدلال الذكاء الاصطناعي.
التنفيذ في العالم الحقيقي
Microsoft's BitNet b1.58 2B4T يعمل بكفاءة على وحدة المعالجة المركزية (CPU)، مما يتيح استدلال LLM بدون وحدة معالجة رسومات مخصصة.
أدوات مساعدة على الجهاز تناسب طرازًا قادرًا في ذاكرة الهاتف المحدودة بفضل أوزان تبلغ 1.58 بت تقريبًا.
تقليل تكلفة طاقة الاستدلال والكربون لخدمات واجهة برمجة التطبيقات كبيرة الحجم عن طريق استبدال مضاعفات الفاصلة العائمة بالإضافات.
عمليات النشر المتطورة (إنترنت الأشياء والأجهزة المدمجة) حيث تجعل الأوزان الثلاثية فهم اللغة المحلية أمرًا ممكنًا ضمن ميزانيات الطاقة المحدودة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the 1-Bit and Ternary BitNet Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
مخرجات نموذج لغة العلامات المائية
الأسئلة المتداولة
What is 1-Bit and Ternary BitNet Models?
BitNet هو خط بحث Microsoft يوضح أنه يمكن تدريب نماذج اللغات الكبيرة بأوزان تقتصر على 1 بت فقط، أو ثلاث قيم في الحالة الثلاثية. يؤدي هذا إلى خفض استخدام الذاكرة والطاقة بشكل كبير مع الحفاظ على دقة قوية بشكل مدهش.
لماذا يتم وصف BitNet b1.58 بأنه يستخدم حوالي 1.58 بت لكل وزن؟
تأخذ الأوزان الثلاثية واحدة من ثلاث قيم، ويتطلب تمثيل الحالات الثلاث سجل الأساس 2 من 3، أي 1.58 بت تقريبًا.
ما الذي يجعل عمليات مصفوفة BitNet أرخص من النماذج القياسية؟
مع الأوزان المحدودة بـ -1 و0 و+1، فإن الضرب بوزن يقلل من إضافة قيمة أو طرحها أو تجاهلها، مما يؤدي إلى تجنب مضاعفات الفاصلة العائمة المكلفة.
أثناء التدريب، كيف تقوم BitNet بتحديث الأوزان على الرغم من خطوة التكميم غير القابلة للتفاضل؟
تحتفظ BitNet بنسخة رئيسية عالية الدقة من الأوزان وتستخدم المقدر المباشر لتمرير التدرجات من خلال القياس الكمي، مما يتيح الانتشار العكسي العادي.
ما هي الفائدة الإضافية التي يوفرها السماح بالقيمة 0 (الثنائية، وليست الثنائية النقية)؟
تتيح الحالة 0 إيقاف تشغيل بعض الاتصالات بشكل فعال، مما يوفر تناثرًا يمكن استغلاله لمزيد من الكفاءة.
ما هو التحدي الرئيسي الذي يواجه الأجهزة لتحقيق مكاسب الكفاءة الكاملة لـ BitNet؟
تم تصميم المسرعات الحالية حول مضاعفة الفاصلة العائمة، لذلك هناك حاجة إلى أجهزة مخصصة للعمليات القائمة على الإضافة الثلاثية لفتح مزايا السرعة والطاقة الخاصة بـ BitNet بشكل كامل.