ज्ञान आसवन

It matters because it shrinks powerful models so they run cheaply on phones and servers while keeping much of the accuracy.

बड़े मॉडल सटीक होते हैं लेकिन तैनात करने में धीमे और महंगे होते हैं। ज्ञान आसवन छात्र को केवल हार्ड लेबल के बजाय शिक्षक के आउटपुट से सीखने के द्वारा उनकी क्षमता को एक कॉम्पैक्ट मॉडल में स्थानांतरित करता है। हिंटन और सहकर्मियों की मुख्य अंतर्दृष्टि यह है कि एक शिक्षक का पूर्ण संभाव्यता वितरण 'अंधकारपूर्ण ज्ञान' रखता है: यहां तक ​​​​कि जब वह 'कुत्ते' की भविष्यवाणी करता है, तो 'भेड़िया' बनाम 'कार' की सापेक्ष संभावनाओं से पता चलता है कि शिक्षक समानताएं कैसे देखता है। तापमान के साथ इन संभावनाओं को नरम करने से वह संरचना उजागर हो जाती है, और छात्र को इसका मिलान करने के लिए प्रशिक्षित किया जाता है, अक्सर वास्तविक लेबल के साथ। परिणाम एक छोटा, तेज़ मॉडल है जो अकेले लेबल पर प्रशिक्षित मॉडल से बेहतर सामान्यीकरण करता है। डिस्टिलबर्ट और टाइनीबर्ट प्रसिद्ध डिस्टिल्ड भाषा मॉडल हैं।