अलीबी स्थिति पूर्वाग्रह प्रश्नोत्तरी

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

1. ALiBi का मतलब क्या है?
   • रैखिक पूर्वाग्रहों पर ध्यान दें
   • अनुकूली रैखिक पूर्वाग्रह
   • संरेखित द्विदिश एन्कोडिंग
   • पूर्ण रैखिक अनुक्रमण
2. ALiBi दूर के टोकन को कैसे दंडित करता है?
   • एक निश्चित विंडो से परे एम्बेडिंग को शून्य करके
   • क्वेरी और मुख्य स्थिति के बीच की दूरी के अनुपात में जुर्माना जोड़कर
   • प्रत्येक स्थिति के लिए एक अलग एम्बेडिंग सीखकर
   • क्वेरी और कुंजी वैक्टर को घुमाकर
3. ALiBi का सबसे प्रसिद्ध व्यावहारिक लाभ क्या है?
   • यह सॉफ्टमैक्स की आवश्यकता को समाप्त कर देता है
   • यह ध्यान को निरंतर स्मृति में चलाता है
   • यह प्रशिक्षण में देखे गए अनुक्रमों की तुलना में लंबे अनुक्रमों को अच्छी तरह से एक्सट्रपलेशन करता है
   • यह कई बार ध्यान देने की आवश्यकता को दूर करता है
4. ध्यान शीर्षों पर रैखिक पूर्वाग्रह के बारे में क्या अलग है?
   • प्रत्येक सिर बिल्कुल समान ढलान साझा करता है
   • प्रशिक्षण के दौरान ढलान सीखे जाते हैं
   • केवल पहले सिर को ही पूर्वाग्रह प्राप्त होता है
   • प्रत्येक शीर्ष को अपनी निश्चित ढलान मिलती है, जिससे एक ज्यामितीय अनुक्रम बनता है
5. पारंपरिक स्थितीय एम्बेडिंग की तुलना में, ALiBi कितने सीखे गए पैरामीटर जोड़ता है?
   • कोई नहीं - पूर्वाग्रह ढलान तय हैं, सीखे नहीं गए
   • प्रति पद एक
   • प्रति टोकन एक
   • दो प्रति ध्यान शीर्ष
6. किस प्रसिद्ध बड़े मॉडल ने स्थिति की जानकारी के लिए ALiBi का उपयोग किया?
   • जीपीटी-2
   • खिलना
   • बर्ट
   • Word2Vec
7. At what stage does ALiBi apply its distance-based bias?
   • To token IDs before they enter the embedding table
   • To the final vocabulary probabilities after decoding
   • To query-key attention scores before the softmax
   • To the training labels after loss calculation
8. Why can ALiBi support inference on sequences longer than those used in training?
   • It removes the need for attention at longer lengths
   • It automatically retrains the model while generating
   • It stores a complete answer for every possible sequence length
   • Its distance-based bias does not require a separately learned embedding for every absolute position