জ্ঞান পাতন

It matters because it shrinks powerful models so they run cheaply on phones and servers while keeping much of the accuracy.

বড় মডেল সঠিক কিন্তু স্থাপন করা ধীর এবং ব্যয়বহুল. নলেজ ডিস্টিলেশন তাদের ক্ষমতাকে একটি কমপ্যাক্ট মডেলে স্থানান্তর করে যাতে শিক্ষার্থীরা শুধুমাত্র হার্ড লেবেল থেকে না হয়ে শিক্ষকের আউটপুট থেকে শিখে। হিন্টন এবং সহকর্মীদের কাছ থেকে মূল অন্তর্দৃষ্টি হল যে একজন শিক্ষকের সম্পূর্ণ সম্ভাব্যতা বন্টন 'অন্ধকার জ্ঞান' বহন করে: এমনকি যখন এটি 'কুকুর' ভবিষ্যদ্বাণী করে, 'নেকড়ে' বনাম 'কার' এর আপেক্ষিক সম্ভাবনাগুলি প্রকাশ করে যে শিক্ষক কীভাবে মিল দেখেন। তাপমাত্রার সাথে এই সম্ভাব্যতাগুলিকে নরম করা সেই কাঠামোটিকে উন্মোচিত করে, এবং শিক্ষার্থীকে প্রায়শই সত্যিকারের লেবেলের পাশাপাশি এটি মেলানোর জন্য প্রশিক্ষণ দেওয়া হয়। ফলাফল হল একটি ছোট, দ্রুত মডেল যা একা লেবেলে প্রশিক্ষিত একজনের চেয়ে ভালো সাধারণীকরণ করে। DistilBERT এবং TinyBERT হল সুপরিচিত পাতিত ভাষার মডেল।