गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
उपसर्ग ट्यूनिंग प्रश्नोत्तरी
उपसर्ग ट्यूनिंग के फ्रोजन-बैकबोन दृष्टिकोण, प्रति-कार्य पैरामीटर बचत, ध्यान-परत प्लेसमेंट और प्राकृतिक-भाषा पीढ़ी कार्यों पर परिणामों का आकलन करें।
प्रश्न 1 का 8
उपसर्ग ट्यूनिंग वास्तव में क्या प्रशिक्षित करती है?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- उपसर्ग ट्यूनिंग वास्तव में क्या प्रशिक्षित करती है?
- मॉडल के सभी ट्रांसफार्मर भार
- केवल मॉडल की आउटपुट शब्दावली परत
- प्रत्येक कार्य के लिए मॉडल की एक अलग प्रति
- जब मॉडल स्थिर रहता है तो निरंतर उपसर्ग वैक्टर का एक छोटा सा सेट
- उपसर्ग वैक्टर कहाँ इंजेक्ट किए जाते हैं?
- प्रत्येक ध्यान स्तर पर कुंजियों और मूल्यों में
- केवल अंतिम आउटपुट परत पर
- केवल हानि फ़ंक्शन में
- एम्बेड करने से पहले टोकननाइज़र में
- प्रीफ़िक्स ट्यूनिंग की शुरुआत किसने और मोटे तौर पर कब की?
- 2018 में OpenAI
- 2021 में स्टैनफोर्ड में ली और लियांग
- Google 2015 में
- 2023 में Meta
- कई कार्यों को पूरा करने के लिए उपसर्ग ट्यूनिंग आकर्षक क्यों है?
- इसके लिए किसी प्रशिक्षण डेटा की आवश्यकता नहीं है
- यह बिना किसी हार्डवेयर पर अनुमान चलाता है
- प्रत्येक कार्य को पूर्ण मॉडल प्रतिलिपि के बजाय केवल एक छोटे उपसर्ग की आवश्यकता होती है
- यह एक ही बार में सभी कार्यों के लिए आधार मॉडल को स्थायी रूप से फिर से लिखता है
- उपसर्ग प्रशिक्षण को स्थिर करने के लिए अक्सर किस युक्ति का उपयोग किया जाता है?
- हर कदम पर सीखने की दर को दोगुना करना
- उपसर्ग को फ़्रीज़ करना और मॉडल को प्रशिक्षित करना
- ध्यान की सभी परतों को हटाना
- एक छोटे फ़ीड-फ़ॉरवर्ड नेटवर्क के माध्यम से उपसर्ग को दोबारा मापना जिसे बाद में हटा दिया जाता है
- उपसर्ग ट्यूनिंग किस प्रकार के कार्य पर विशेष रूप से चमकी?
- टेबल-टू-टेक्स्ट और सारांशीकरण जैसी प्राकृतिक भाषा पीढ़ी
- छवि वर्गीकरण
- ऑडियो तरंगरूप संश्लेषण
- डेटाबेस अनुक्रमण
- What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
- About 10%
- About 0.1%
- लगभग 50%
- All model parameters
- How did prefix-tuning perform in the paper’s low-data settings?
- It always matched full fine-tuning on every task
- It could not train with limited examples
- It outperformed full fine-tuning in some evaluated low-data cases
- It changed every backbone parameter