ٹرانسفارمرز کوئز میں انڈکشن ہیڈز

جب آپ کوئز دیتے ہیں تو جوابات اور وضاحتیں ظاہر ہوتی ہیں۔

1. انڈکشن ہیڈ بنیادی طور پر کون سا اصول نافذ کرتا ہے؟
   • زبان میں سب سے زیادہ متواتر ٹوکن کی پیش گوئی کریں۔
   • ہمیشہ پچھلے ٹوکن کو بغیر تبدیلی کے کاپی کریں۔
   • سیاق و سباق کے ٹوکنز کو تصادفی طور پر شفل کریں۔
   • پہلے [A][B] دیکھیں، پھر [A] پر دوبارہ پیش گوئی کریں [B]
2. What capability was linked to induction-head behavior in the cited 2022 study?
   • In-context learning in the examined models, with broader large-model claims framed as hypotheses
   • A proof that every form of reasoning uses only one identical circuit
   • Changing the tokenizer vocabulary during every prompt
   • Permanent weight updates whenever a repeated token appears
3. انڈکشن سرکٹ میں 'پچھلا ٹوکن ہیڈ' کیا کردار ادا کرتا ہے؟
   • یہ حتمی سافٹ میکس تیار کرتا ہے۔
   • یہ پوزیشنی معلومات کو ہٹاتا ہے۔
   • یہ ہر ٹوکن کی پیشرو معلومات کو آگے نقل کرتا ہے تاکہ میچنگ ہو سکے۔
   • یہ توجہ کے وزن کو معمول بناتا ہے۔
4. عام طور پر کینونیکل انڈکشن سرکٹ میں کتنے توجہ کے سر شامل ہوتے ہیں؟
   • بالکل ایک
   • دو، تہوں پر مشتمل
   • ایک پرت میں سینکڑوں
   • صفر; یہ صرف فیڈ فارورڈ ہے۔
5. What training relationship did the induction-head study report in the models it examined?
   • Head formation coincided with changes in loss behavior and increased in-context learning
   • All heads were fully formed before any training
   • Induction behavior could only appear after every parameter was frozen forever
   • The same exact training transition must occur in every future model
6. انڈکشن ہیڈ کون سا کام سب سے زیادہ براہ راست سنبھالے گا؟
   • عددی میلان کا حساب لگانا
   • ماڈل کے وزن کو کمپریس کرنا
   • ان پٹ پرامپٹ کو خفیہ کرنا
   • پہلے کے مماثل ٹوکنز کی پیروی کی کاپی کرکے ایک ترتیب کو دہرانا
7. What roles do query-key matching and the output-value path play in the canonical induction circuit?
   • Query-key computations generate the final text filename; output-value computations train the tokenizer
   • Query-key computations select the matching context position; output-value computations promote the token information there
   • Both paths only count the total number of context words
   • The output-value path selects a position without any attention pattern
8. Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
   • Yes; every architecture and prompt has already been causally tested
   • Yes; no other network computation can influence a prediction
   • No; the wider explanation remains a hypothesis needing model- and task-specific evidence
   • Only the number of parameters determines whether the proof is universal