गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
रैखिक जांच और जमे हुए फ़ीचर मूल्यांकन प्रश्नोत्तरी
जाँचता है कि रैखिक जांच क्या मापती है, जमी हुई परतों की तुलना कैसे करें और अकेले जांच सटीकता ही कारणात्मक उपयोग या मजबूती क्यों स्थापित नहीं कर सकती है।
प्रश्न 1 का 8
एक मानक रैखिक जांच में, प्रशिक्षण के दौरान कौन से पैरामीटर अपडेट किए जाते हैं?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- एक मानक रैखिक जांच में, प्रशिक्षण के दौरान कौन से पैरामीटर अपडेट किए जाते हैं?
- शीर्ष पर केवल नया जोड़ा गया लीनियर क्लासिफायरियर
- संपूर्ण रीढ़ की हड्डी और रैखिक परत
- केवल रीढ़ की हड्डी, क्लासिफायर को स्थिर छोड़कर
- एम्बेडिंग परत और अंतिम ध्यान ब्लॉक
- What does high linear-probe accuracy most directly show?
- The backbone causally uses the feature for every prediction
- The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
- The representation is robust to every distribution shift
- The probe has identified a human-interpretable mechanism
- पूर्ण फाइन-ट्यूनिंग की तुलना में, रैखिक जांच मुख्य रूप से आकर्षक है क्योंकि यह है:
- हर कार्य पर अधिक सटीक
- वितरण से बेहतर सामान्यीकरण की गारंटी
- गणना और मेमोरी में सस्ता और फीचर गुणवत्ता पर स्पष्ट जानकारी देता है
- पूर्व-प्रशिक्षित मॉडल का उपयोग करने का एकमात्र तरीका
- ट्रांसफार्मर की जांच करते समय एक सामान्य अनुभवजन्य खोज यह है:
- अंतिम परत हमेशा सर्वोत्तम जांच सटीकता देती है
- जांच केवल कन्वेन्शनल नेटवर्क पर काम करती है
- परत का चुनाव कभी भी जांच परिणामों को प्रभावित नहीं करता है
- स्थानांतरण के लिए मध्यवर्ती परतें अक्सर अंतिम परत से बेहतर प्रदर्शन करती हैं
- बेंचमार्किंग से परे, व्याख्यात्मकता में रैखिक जांच का तेजी से उपयोग किया जा रहा है:
- पता लगाएँ कि क्या सत्यता जैसी अवधारणा छिपी हुई अवस्थाओं में कूटबद्ध है
- मोबाइल परिनियोजन के लिए मॉडल संपीड़ित करें
- प्रीट्रेनिंग के दौरान ऑप्टिमाइज़र बदलें
- नया प्रशिक्षण डेटा स्वचालित रूप से उत्पन्न करें
- उच्च जांच सटीकता की व्याख्या करते समय एक प्रमुख पद्धतिगत जोखिम यह है:
- रीढ़ गुप्त रूप से प्रशिक्षण लेती रहती है
- हो सकता है कि जांच वास्तविक अवधारणा के बजाय नकली सहसंबंध का फायदा उठा रही हो
- रैखिक जांच ओवरफिट नहीं हो सकती
- क्रॉस-एन्ट्रॉपी हानि का उपयोग नहीं किया जा सकता
- To compare two backbone layers with linear probes, what should remain consistent?
- The feature vectors from each layer
- The layer being evaluated
- The task labels, data split and probe-training protocol
- The activation values themselves
- Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
- To update the frozen backbone
- To add hidden nonlinear layers to the probe
- To guarantee the concept is causally used
- To reduce optimization and scale effects that could distort the representation comparison