گائیڈ سے منسلک کوئز · مشکل سطح
توجہ رول آؤٹ اور سر کی کٹائی کوئز
جانچتا ہے کہ رول آؤٹ کس طرح پرتوں والی توجہ کو بقایا راستوں کے ساتھ جوڑتا ہے، سر کی کٹائی کا کیا تخمینہ ہے، اور وہ اسکور کیا بیان کر سکتے ہیں اور کیا نہیں کر سکتے۔
سوال 1 کی 8
توجہ کے رول آؤٹ کا مقصد کیا ہے؟
ہر سوال کا جائزہ لیں۔8 سوالات
جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔
- توجہ کے رول آؤٹ کا مقصد کیا ہے؟
- ان پٹ ٹوکنز سے لے کر تہوں میں آؤٹ پٹ تک مجموعی معلومات کے بہاؤ کو ٹریس کرنے کے لیے
- ٹرانسفارمر میں مزید پرتیں شامل کرنے کے لیے
- سیکھنے کی شرح کو بڑھانے کے لیے
- توجہ کو کنولیشن میں تبدیل کرنا
- کیوں ایک پرت کی توجہ کا نقشہ اکثر وضاحت کے لیے ناکافی ہوتا ہے؟
- توجہ کا حساب کبھی نہیں لیا جاتا
- معلومات کئی تہوں اور سروں میں گھل مل جاتی ہیں، اس لیے ایک نقشہ پورا راستہ چھوڑ دیتا ہے۔
- نقشے ہمیشہ یکساں ہوتے ہیں۔
- ٹرانسفارمر کا صرف ایک سر ہوتا ہے۔
- توجہ کا رول آؤٹ بقایا کنکشن کے حساب سے ہر توجہ کے میٹرکس میں کیا اضافہ کرتا ہے؟
- صفر کا تعصب
- بے ترتیب شور کی اصطلاح
- معمول پر لانے سے پہلے ایک شناختی میٹرکس جزو
- ایک اضافی سافٹ میکس
- کثیر سر توجہ پر تحقیق نے سر کی بے کار پن کے بارے میں کیا انکشاف کیا؟
- ہر سر ضروری ہے۔
- سروں کو ہٹایا نہیں جا سکتا
- کٹائی ہمیشہ درستگی کو دوگنا کرتی ہے۔
- بہت سے سروں کو تھوڑی درستگی کے نقصان کے ساتھ کاٹا جا سکتا ہے۔
- عام طور پر کٹائی کے لیے سر کی اہمیت کا اندازہ کیسے لگایا جاتا ہے؟
- ہیڈ ماسک کے نقصان کی تدریجی بنیاد پر حساسیت کے ذریعے
- اس کی حروف تہجی کی پوزیشن کے مطابق
- صرف اس کے پیرامیٹرز گن کر
- دن کے وقت تک
- What different jobs do attention rollout and head pruning each do?
- وہ ایک جیسی تکنیک ہیں۔
- رول آؤٹ تشریح میں مدد کرتا ہے جبکہ کٹائی ماڈلز کو کمپریس کرنے کے لیے فالتو پن کا استحصال کرتی ہے
- دونوں صرف پیرامیٹرز شامل کرتے ہیں۔
- نہ ہی توجہ چھوتی ہے۔
- In an attention-rollout calculation, why are residual paths included with layer attention?
- To make every head have the same weight
- To remove the value vectors from the Transformer
- To approximate information that can pass along the identity path when layer transitions are composed
- To prevent the attention matrix from being normalized
- How should an attention-rollout score be interpreted?
- As proof that a token caused the output
- As the exact value vector used at every layer
- As a measure of how many heads the model contains
- As a post-hoc approximation of relative token influence, not a causal explanation