गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर

उपसर्ग ट्यूनिंग प्रश्नोत्तरी

उपसर्ग ट्यूनिंग के फ्रोजन-बैकबोन दृष्टिकोण, प्रति-कार्य पैरामीटर बचत, ध्यान-परत प्लेसमेंट और प्राकृतिक-भाषा पीढ़ी कार्यों पर परिणामों का आकलन करें।

संबंधित मार्गदर्शक पथउपसर्ग ट्यूनिंग
प्रश्न 1 का 8

उपसर्ग ट्यूनिंग वास्तव में क्या प्रशिक्षित करती है?

प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न

जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।

  1. उपसर्ग ट्यूनिंग वास्तव में क्या प्रशिक्षित करती है?
    • मॉडल के सभी ट्रांसफार्मर भार
    • केवल मॉडल की आउटपुट शब्दावली परत
    • प्रत्येक कार्य के लिए मॉडल की एक अलग प्रति
    • जब मॉडल स्थिर रहता है तो निरंतर उपसर्ग वैक्टर का एक छोटा सा सेट
  2. उपसर्ग वैक्टर कहाँ इंजेक्ट किए जाते हैं?
    • प्रत्येक ध्यान स्तर पर कुंजियों और मूल्यों में
    • केवल अंतिम आउटपुट परत पर
    • केवल हानि फ़ंक्शन में
    • एम्बेड करने से पहले टोकननाइज़र में
  3. प्रीफ़िक्स ट्यूनिंग की शुरुआत किसने और मोटे तौर पर कब की?
    • 2018 में OpenAI
    • 2021 में स्टैनफोर्ड में ली और लियांग
    • Google 2015 में
    • 2023 में Meta
  4. कई कार्यों को पूरा करने के लिए उपसर्ग ट्यूनिंग आकर्षक क्यों है?
    • इसके लिए किसी प्रशिक्षण डेटा की आवश्यकता नहीं है
    • यह बिना किसी हार्डवेयर पर अनुमान चलाता है
    • प्रत्येक कार्य को पूर्ण मॉडल प्रतिलिपि के बजाय केवल एक छोटे उपसर्ग की आवश्यकता होती है
    • यह एक ही बार में सभी कार्यों के लिए आधार मॉडल को स्थायी रूप से फिर से लिखता है
  5. उपसर्ग प्रशिक्षण को स्थिर करने के लिए अक्सर किस युक्ति का उपयोग किया जाता है?
    • हर कदम पर सीखने की दर को दोगुना करना
    • उपसर्ग को फ़्रीज़ करना और मॉडल को प्रशिक्षित करना
    • ध्यान की सभी परतों को हटाना
    • एक छोटे फ़ीड-फ़ॉरवर्ड नेटवर्क के माध्यम से उपसर्ग को दोबारा मापना जिसे बाद में हटा दिया जाता है
  6. उपसर्ग ट्यूनिंग किस प्रकार के कार्य पर विशेष रूप से चमकी?
    • टेबल-टू-टेक्स्ट और सारांशीकरण जैसी प्राकृतिक भाषा पीढ़ी
    • छवि वर्गीकरण
    • ऑडियो तरंगरूप संश्लेषण
    • डेटाबेस अनुक्रमण
  7. What proportion of model parameters did the original prefix-tuning paper report learning in its experiments?
    • About 10%
    • About 0.1%
    • लगभग 50%
    • All model parameters
  8. How did prefix-tuning perform in the paper’s low-data settings?
    • It always matched full fine-tuning on every task
    • It could not train with limited examples
    • It outperformed full fine-tuning in some evaluated low-data cases
    • It changed every backbone parameter