تقطير المعرفة
يقوم تقطير المعرفة بتدريب نموذج "الطالب" الصغير على تقليد نموذج "المعلم" الكبير والدقيق.
نظرة عامة
الأمر مهم لأنه يقلل من النماذج القوية بحيث تعمل بتكلفة منخفضة على الهواتف والخوادم مع الحفاظ على دقة كبيرة.
الغوص العميق
النماذج الكبيرة دقيقة ولكنها بطيئة ومكلفة في النشر. يقوم تقطير المعرفة بنقل قدراتهم إلى نموذج مدمج من خلال جعل الطالب يتعلم من مخرجات المعلم وليس فقط من الملصقات الصلبة. الفكرة الأساسية التي توصل إليها هينتون وزملاؤه هي أن التوزيع الاحتمالي الكامل للمعلم يحمل "معرفة مظلمة": فحتى عندما يتنبأ بكلمة "كلب"، فإن الاحتمالات النسبية لكلمة "ذئب" مقابل "سيارة" تكشف كيف يرى المعلم أوجه التشابه. يؤدي تخفيف هذه الاحتمالات بدرجة الحرارة إلى كشف هذا الهيكل، ويتم تدريب الطالب على مطابقته، غالبًا جنبًا إلى جنب مع التسميات الحقيقية. والنتيجة هي نموذج أصغر وأسرع يعمم بشكل أفضل من النموذج الذي تم تدريبه على الملصقات وحدها. DistilBERT و TinyBERT هما نموذجان معروفان للغة المقطرة.
البصيرة الفنية
تجمع الخسارة الكلاسيكية بين مصطلح التقطير (اختلاف KL بين الاحتمالات المخففة للطالب والمعلم) مع إنتروبيا متقاطعة قياسية على التسميات الحقيقية. يستخدم التليين درجة حرارة T في softmax: تعمل T الأعلى على تسطيح التوزيع بحيث تصبح أوجه التشابه الصغيرة بين الفئات إشارات قابلة للتعلم؛ عادة ما يتم قياس تدرج التقطير بواسطة T-squared. تتجاوز المتغيرات المخرجات: يطابق التقطير المبني على الميزات الطبقات المخفية المتوسطة، ويطابق التقطير المبني على العلاقات العلاقات بين الأمثلة.
التأثير الاستراتيجي
التكلفة والميزانية
تؤدي قرارات الهندسة المعمارية إلى زيادة الأداء وتكلفة التشغيل لسنوات.
قرارات أوضح
يساعد التعليم الفني الفرق على اختيار المجموعة المناسبة، وليس فقط المجموعة الأحدث.
مراقبة الجودة
تعمل الخيارات الهندسية الأفضل على تقليل حوادث الموثوقية في الإنتاج.
مستقبل تقطير المعرفة
أصبح التقطير الآن خطوة قياسية في شحن النماذج الفعالة وهو أمر أساسي لموجة اليوم من النماذج المفتوحة الصغيرة والقادرة. الاتجاه سريع النمو هو التقطير على مستوى التسلسل من نماذج اللغة الكبيرة، حيث يولد النموذج القوي بيانات التدريب أو آثار الاستدلال (بما في ذلك سلسلة الفكر) لتعليم الطلاب الصغار، مما يؤدي إلى طمس الخط بالبيانات الاصطناعية. توقع اقترانًا أكثر صرامة مع القياس الكمي والتهذيب، والمزيد من النشر على الجهاز، والنقاش المستمر حول الترخيص والجودة عند الاستخلاص من نماذج الملكية التي تصبح مخرجاتها إشارة تدريب للمنافس.
التنفيذ في العالم الحقيقي
يقوم DistilBERT بضغط BERT إلى معلمات أقل بنسبة 40% تقريبًا مع الاحتفاظ بمعظم فهمه للغة من أجل استنتاج أسرع.
تقليص نموذج الرؤية الكبير بحيث يمكن تشغيل مصنف الصور في الوقت الفعلي على تطبيق كاميرا الهاتف الذكي.
استخلاص المنطق التسلسلي الفكري للنموذج الكبير إلى نموذج أصغر لجعله يجيب على أسئلة الرياضيات أو البرمجة بتكلفة أقل.
ضغط مجموعة من النماذج في طالب واحد بحيث تنخفض تكاليف خدمة الإنتاج وزمن الوصول دون فقدان الكثير من الدقة.
المخاطر والدرابزين
يمكن أن يؤدي تحسين معيار واحد إلى إخفاء نقاط ضعف النظام الأوسع.
غالبًا ما يتم التقليل من تكاليف البنية التحتية والصيانة.
يمكن أن تنمو الفجوات الأمنية وقابلية المراقبة عندما تصبح الأنظمة أكثر تعقيدًا.
خارطة طريق التنفيذ
تحديد الكمون والجودة وأهداف التكلفة قبل التنفيذ.
المعيار في ظل ظروف التحميل والبيانات الواقعية.
مراقبة الأدوات للأخطاء والانجراف وتأثير المستخدم.
قم بإعداد مسارات التراجع والاستجابة للحوادث قبل القياس.
استمر في الاستكشاف
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Knowledge Distillation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
الدليل التالي
إدارة المعرفة بالذكاء الاصطناعي
الأسئلة المتداولة
ما هو تقطير المعرفة؟
يقوم تقطير المعرفة بتدريب نموذج "الطالب" الصغير على تقليد نموذج "المعلم" الكبير والدقيق. إنه أمر مهم لأنه يقلص النماذج القوية بحيث يتم تشغيلها بسعر رخيص على الهواتف والخوادم مع الحفاظ على قدر كبير من الدقة.
ما هو الهدف من تقطير المعرفة؟
يقوم التقطير بنقل قدرة المعلم الكبيرة إلى نموذج طالب مدمج وأسرع.
ما المقصود بـ "المعرفة المظلمة" للمعلم؟
المعرفة المظلمة هي هيكل التوزيع الاحتمالي الكامل للمعلم، مثل مدى تشابه "الذئب" مع "الكلب"، وليس فقط الإجابة العليا.
ما الدور الذي تلعبه درجة الحرارة (T) في التقطير؟
يؤدي ارتفاع درجة الحرارة إلى تسطيح توزيع الاحتمالات، مما يكشف عن أوجه التشابه النسبية التي يجب أن يتعلمها الطالب.
أي مكونين يجمعهما فقدان التقطير الكلاسيكي؟
يطابق الطالب توزيع المعلم المخفف (مصطلح KL) بينما يلائم أيضًا تسميات الحقيقة الأرضية (الإنتروبيا المتقاطعة).
ما هو مثال لنموذج اللغة المقطرة؟
يعد DistilBERT نموذجًا معروفًا مستخرجًا من BERT، ويحتفظ بمعظم الأداء مع معلمات أقل بكثير.