गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
लॉगिट लेंस और ट्यून्ड लेंस प्रश्नोत्तरी
इंटरमीडिएट-लेयर रीडआउट, अवशिष्ट-स्ट्रीम संरचना, ट्यून किए गए लेंस अनुवादक और कच्चे लॉगिट लेंस की सीमाओं की जांच करता है।
प्रश्न 1 का 8
लॉगिट लेंस क्या करता है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- लॉगिट लेंस क्या करता है?
- प्रति परत भविष्यवाणियों को पढ़ने के लिए मॉडल की अंतिम अनएम्बेडिंग को मध्यवर्ती छिपी हुई अवस्थाओं पर लागू करता है
- ट्रांसफार्मर में नई परतें जोड़ता है
- मॉडल से ध्यान हटाता है
- मानव भाषाओं के बीच अनुवाद करता है
- ट्यून्ड लेंस रॉ लॉगिट लेंस की तुलना में कौन सा महत्वपूर्ण सुधार जोड़ता है?
- यह एक बड़ी शब्दावली का उपयोग करता है
- यह छिपे हुए राज्यों को अंतिम आधार में अनुवाद करने के लिए एक छोटे प्रति-परत एफ़िन मानचित्र को प्रशिक्षित करता है
- यह किसी भी अनएम्बेडिंग की आवश्यकता को हटा देता है
- यह केवल छवि मॉडल पर काम करता है
- ट्रांसफार्मर में कौन सी संरचना इन लेंसों को संभव बनाती है?
- कनवल्शनल फिल्टर
- टोकनकर्ता
- योगात्मक अवशिष्ट धारा जिसे अनएम्बेडिंग बाद में लॉग में प्रोजेक्ट करती है
- अनुकूलक की सीखने की दर
- मूल लॉगिट लेंस किसने और मोटे तौर पर कब पेश किया?
- 2015 में डीपमाइंड
- 2018 में OpenAI
- Google 2012 में
- 2020 में उदासीन व्यक्ति
- लॉगिट लेंस अक्सर अंतिम उत्तर 'क्रिस्टलीकरण' कहाँ दिखाता है?
- मध्य से देर की परतों में
- केवल पहली परत में
- कभी नहीं, उत्तर एक ही बार में प्रकट हो जाता है
- मॉडल से पूरी तरह बाहर
- प्रारंभिक परतों में कच्चा लॉगिट लेंस अविश्वसनीय क्यों हो सकता है?
- प्रारंभिक परतों में कोई न्यूरॉन्स नहीं होते हैं
- उनकी छुपी हुई स्थितियाँ अभी तक अंतिम आउटपुट के आधार पर संरेखित नहीं हुई हैं जिसकी अनएम्बेडिंग अपेक्षा करती है
- भविष्यवाणी में प्रारंभिक परतों का उपयोग कभी नहीं किया जाता है
- अनएम्बेडिंग मैट्रिक्स यादृच्छिक है
- What does the model’s final unembedding map a residual-stream vector into?
- A new set of transformer layers
- A similarity graph over training examples
- Vocabulary logits that can be converted into token probabilities
- A gradient clipping threshold
- Why can an early-layer raw logit-lens prediction be misleading?
- The layer has already generated the full answer
- The tokenizer has been removed
- The unembedding only works on images
- The intermediate state may not yet be aligned with the final output basis