स्मूथक्वांट और एक्टिवेशन क्वांटाइजेशन क्विज

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. स्मूथक्वांट विशेष रूप से कम-परिशुद्धता अनुमान में किस समस्या का समाधान करता है?
   • सक्रियण चैनलों में अत्यधिक बाह्य मान
   • वज़न जो दर्शाने के लिए बहुत छोटा है
   • बैकप्रॉपैगेशन के दौरान ग्रेडिएंट गायब हो जाना
   • सांकेतिक शब्दावली आकार सीमा
2. स्मूथक्वांट सक्रियणों को परिमाणित करना कैसे आसान बनाता है?
   • यह एक निश्चित सीमा से ऊपर की सभी गतिविधियों को क्लिप करता है
   • यह एक ही कारक से सक्रियता को कम करके और वजन बढ़ाकर कठिनाई को स्थानांतरित करता है
   • यह मॉडल को 8-बिट में एंड-टू-एंड पुनः प्रशिक्षित करता है
   • यह एक्टिवेशन को केवल फ़्लोटिंग पॉइंट में परिवर्तित करता है
3. नोटेशन W8A8 का क्या मतलब है?
   • 8 वज़न परतें और 8 ध्यान शीर्ष
   • 8 का भार क्षय और 8 का अल्फा
   • 8-बिट भार और 8-बिट सक्रियण
   • 8 कर्मचारी और 8 त्वरक
4. स्मूथक्वांट की स्केलिंग अनिवार्य रूप से कोई रनटाइम ओवरहेड क्यों नहीं जोड़ती है?
   • यह एक अलग समर्पित GPU पर चलता है
   • यह केवल प्रशिक्षण के दौरान लागू होता है, अनुमान कभी नहीं
   • आधुनिक सीपीयू स्केलिंग कारकों को नजरअंदाज करते हैं
   • तराजू को आसन्न वजन या फ़्यूज्ड संचालन में ऑफ़लाइन अवशोषित किया जाता है
5. स्मूथक्वांट में अल्फा हाइपरपैरामीटर क्या भूमिका निभाता है?
   • यह नियंत्रित करता है कि बाहरी बोझ सक्रियता से भार में कितना स्थानांतरित होता है
   • यह फाइन-ट्यूनिंग के लिए सीखने की दर निर्धारित करता है
   • यह परिमाणीकरण बिट्स की संख्या निर्धारित करता है
   • यह चयन करता है कि किस ध्यान की ओर ध्यान दिया जाए
6. What result did the SmoothQuant paper report for its evaluated W8A8 large-language-model deployments?
   • A guaranteed 10× speedup on every GPU
   • About 1.56× speedup and roughly 2× memory savings with near-full-precision accuracy
   • No runtime or memory benefit
   • A 50% accuracy drop in every tested model
7. Why does multiplying activation channels by 1/s and corresponding weights by s preserve a linear layer’s product?
   • The output is rounded to the nearest class
   • The model replaces multiplication with addition
   • The reciprocal scale factors cancel in the activation-weight multiplication
   • The weights are set to zero after scaling
8. In SmoothQuant’s scale formula, what does increasing alpha generally do to outlier handling?
   • It removes the model’s weight matrices
   • It turns W8A8 into W16A16
   • It eliminates all quantization error
   • It shifts more scaling burden away from activations and onto weights