1-बिट और टर्नरी बिटनेट मॉडल क्विज़

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. BitNet b1.58 को प्रति वजन लगभग 1.58 बिट्स का उपयोग करने के रूप में क्यों वर्णित किया गया है?
   • क्योंकि प्रत्येक वज़न के तीन संभावित मान होते हैं (-1, 0, +1) और log2(3) लगभग 1.58 है
   • क्योंकि यह 2 बिट्स तक पूर्णांकित होता है
   • क्योंकि इसमें 1.58 जीबी मेमोरी का इस्तेमाल होता है
   • क्योंकि 1.58 1 और 2 बिट का औसत है
2. मानक मॉडलों की तुलना में बिटनेट का मैट्रिक्स संचालन सस्ता क्यों है?
   • वे ध्यान तंत्र को छोड़ देते हैं
   • -1, 0, +1 के भार गुणन को जोड़ और घटाव में बदल देते हैं
   • वे छोटी शब्दावली का प्रयोग करते हैं
   • वे केवल टीपीयू पर चलते हैं
3. बिटनेट और सामान्य प्रशिक्षण उपरांत परिमाणीकरण के बीच एक महत्वपूर्ण अंतर यह है कि बिटनेट:
   • प्रशिक्षण पूरा होने के बाद ही मात्रा निर्धारित की जाती है
   • बिल्कुल प्रशिक्षित नहीं किया जा सकता
   • कम-बिट वजन के साथ शुरुआत से प्रशिक्षित किया जाता है
   • आंतरिक रूप से 32-बिट भार का उपयोग करता है
4. प्रशिक्षण के दौरान, गैर-विभेदित परिमाणीकरण चरण के बावजूद बिटनेट वजन कैसे अद्यतन करता है?
   • यह सभी भारों को स्थिर कर देता है
   • यह बिना ग्रेडिएंट के प्रशिक्षण देता है
   • यह केवल सुदृढीकरण सीखने का उपयोग करता है
   • यह उच्च परिशुद्धता छाया भार के साथ एक स्ट्रेट-थ्रू अनुमानक का उपयोग करता है
5. मान 0 (टर्नरी, शुद्ध बाइनरी नहीं) की अनुमति देने से क्या अतिरिक्त लाभ मिलता है?
   • अंतर्निहित स्पार्सिटी, चूंकि शून्य भार को छोड़ा जा सकता है
   • फ़्लोटिंग पॉइंट की तुलना में अधिक परिशुद्धता
   • तेज़ इंटरनेट कनेक्टिविटी
   • बड़ा शब्दावली आकार
6. बिटनेट की पूर्ण दक्षता हासिल करने के लिए मुख्य हार्डवेयर चुनौती क्या है?
   • दुनिया में कोई भी GPU नहीं बचा है
   • अधिकांश मौजूदा चिप्स फ़्लोटिंग-पॉइंट गणित के लिए अनुकूलित हैं, न कि केवल अतिरिक्त टर्नरी ऑप्स के लिए
   • टर्नरी मॉडल को क्वांटम कंप्यूटर की आवश्यकता होती है
   • मॉडल मायने रखने के लिए बहुत छोटे हैं
7. यदि बिटनेट का वजन शून्य है, तो यह डॉट उत्पाद में क्या योगदान देता है?
   • यह सक्रियण को ऋणात्मक से गुणा कर देता है
   • यह एक पूर्ण-परिशुद्धता मैट्रिक्स गुणा जोड़ता है
   • यह शून्य योगदान देता है और संभावित रूप से उपयुक्त हार्डवेयर द्वारा इसे छोड़ा जा सकता है
   • यह मॉडल परतों की संख्या बदलता है
8. बिटनेट प्रशिक्षण के दौरान उच्च परिशुद्धता छाया भार क्यों बनाए रखा जाता है?
   • केवल पूर्ण-परिशुद्धता भार के साथ अनुमान लगाना
   • टोकननाइज़र शब्दावली को संग्रहीत करने के लिए
   • स्ट्रेट-थ्रू अनुमानक को सटीक ग्रेडिएंट्स से बदलने के लिए
   • कम-बिट फॉरवर्ड परिमाणीकरण के बावजूद ग्रेडिएंट अपडेट के लिए प्रशिक्षण योग्य मान बनाए रखना