علم کشید

It matters because it shrinks powerful models so they run cheaply on phones and servers while keeping much of the accuracy.

بڑے ماڈل درست ہیں لیکن تعینات کرنے میں سست اور مہنگے ہیں۔ نالج ڈسٹلیشن طالب علم کو صرف سخت لیبلز سے سیکھنے کے بجائے استاد کے نتائج سے سیکھنے پر مجبور کر کے ان کی صلاحیت کو ایک کمپیکٹ ماڈل میں منتقل کرتا ہے۔ ہنٹن اور ساتھیوں کی طرف سے اہم بصیرت یہ ہے کہ ایک استاد کی مکمل امکانی تقسیم میں 'تاریک علم' ہوتا ہے: یہاں تک کہ جب یہ 'کتے' کی پیشین گوئی کرتا ہے، 'بھیڑیا' بمقابلہ 'کار' کے متعلقہ امکانات یہ ظاہر کرتے ہیں کہ استاد کس طرح مماثلت کو دیکھتا ہے۔ درجہ حرارت کے ساتھ ان امکانات کو نرم کرنا اس ساخت کو بے نقاب کرتا ہے، اور طالب علم کو اکثر حقیقی لیبلز کے ساتھ، اس سے ملنے کی تربیت دی جاتی ہے۔ نتیجہ ایک چھوٹا، تیز ماڈل ہے جو اکیلے لیبل پر تربیت یافتہ سے بہتر عام کرتا ہے۔ DistilBERT اور TinyBERT ڈسٹل لینگویج کے معروف ماڈل ہیں۔