गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
ट्रांसफॉर्मर्स क्विज़ में इंडक्शन हेड्स
प्रेरण उपसर्ग मिलान, पूर्ववर्ती जानकारी, क्रॉस-लेयर सर्किट, प्रशिक्षण अवलोकन और संदर्भ में सीखने के तंत्र की सीमाओं की समीक्षा करें।
प्रश्न 1 का 8
इंडक्शन हेड अनिवार्य रूप से कौन सा नियम लागू करता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- इंडक्शन हेड अनिवार्य रूप से कौन सा नियम लागू करता है?
- भाषा में सबसे अधिक बार आने वाले टोकन की भविष्यवाणी करें
- हमेशा पिछले टोकन को अपरिवर्तित कॉपी करें
- संदर्भ टोकन को बेतरतीब ढंग से फेरबदल करें
- पहले [ए] [बी] देखें, फिर [ए] पर फिर से भविष्यवाणी करें [बी]
- What capability was linked to induction-head behavior in the cited 2022 study?
- In-context learning in the examined models, with broader large-model claims framed as hypotheses
- A proof that every form of reasoning uses only one identical circuit
- Changing the tokenizer vocabulary during every prompt
- Permanent weight updates whenever a repeated token appears
- इंडक्शन सर्किट में 'प्रीवियस-टोकन हेड' क्या भूमिका निभाता है?
- यह अंतिम सॉफ्टमैक्स उत्पन्न करता है
- यह स्थिति संबंधी जानकारी हटा देता है
- यह प्रत्येक टोकन की पूर्ववर्ती जानकारी को कॉपी करके आगे भेजता है ताकि मिलान हो सके
- यह ध्यान भार को सामान्य करता है
- कैनोनिकल इंडक्शन सर्किट में आमतौर पर कितने ध्यान प्रमुख शामिल होते हैं?
- बिल्कुल एक
- दो, परतों में रचित
- एक ही परत में सैकड़ों
- शून्य; यह केवल फ़ीड-फ़ॉरवर्ड है
- What training relationship did the induction-head study report in the models it examined?
- Head formation coincided with changes in loss behavior and increased in-context learning
- All heads were fully formed before any training
- Induction behavior could only appear after every parameter was frozen forever
- The same exact training transition must occur in every future model
- एक इंडक्शन हेड कौन सा कार्य सबसे सीधे तौर पर संभालेगा?
- संख्यात्मक ग्रेडिएंट की गणना
- मॉडल के वज़न को संपीड़ित करना
- इनपुट प्रॉम्प्ट को एन्क्रिप्ट करना
- पहले मिलान वाले टोकन के बाद जो हुआ उसे कॉपी करके अनुक्रम को दोहराना
- What roles do query-key matching and the output-value path play in the canonical induction circuit?
- Query-key computations generate the final text filename; output-value computations train the tokenizer
- Query-key computations select the matching context position; output-value computations promote the token information there
- Both paths only count the total number of context words
- The output-value path selects a position without any attention pattern
- Does a demonstrated two-head induction circuit prove that every large-model in-context task uses that mechanism alone?
- Yes; every architecture and prompt has already been causally tested
- Yes; no other network computation can influence a prediction
- No; the wider explanation remains a hypothesis needing model- and task-specific evidence
- Only the number of parameters determines whether the proof is universal