गाइड से जुड़ी प्रश्नोत्तरी · मध्यम स्तर
स्व-पर्यवेक्षित शिक्षण प्रश्नोत्तरी
डेटा-व्युत्पन्न लक्ष्य, BERT मास्किंग, SimCLR जोड़े, एनोटेशन आवश्यकताएं, अनुकूलन, अगले-टोकन कार्य, प्रक्षेपण प्रमुख और दूषित-टोकन लक्ष्य की समीक्षा करें।
प्रश्न 1 का 8
Where does the supervision signal in the described self-supervised examples come from?
प्रत्येक प्रश्न का पूर्वावलोकन करें8 प्रश्न
जैसे ही आप प्रश्नोत्तरी लेते हैं उत्तर और स्पष्टीकरण दिखाई देते हैं।
- Where does the supervision signal in the described self-supervised examples come from?
- A requirement for no training objective
- Only new human semantic labels for every pretraining example
- A rule that examples contain no useful information
- The data and defined transformations of it
- Which input positions contribute prediction targets to the original BERT masked-language-model loss?
- The positions selected for the MLM prediction task
- Every position in the entire input regardless of selection
- Only the first position of each new sentence
- Only positions that appear after the final sentence boundary
- SimCLR जैसी विरोधाभासी शिक्षा में, एक 'सकारात्मक जोड़ी' है:
- दो पूरी तरह से असंबंधित छवियां
- मानव-लिखित लेबलों की एक जोड़ी
- एक ही छवि के दो संवर्धित दृश्य जो एम्बेडिंग स्थान में करीब होने चाहिए
- डेटासेट की दो प्रतियां
- What annotation requirement can self-supervised pretraining reduce in the described examples?
- The need for any usable input data
- Separate task-specific semantic labels for every pretraining example
- All computational cost by definition
- The need to assess downstream performance
- How can a representation learned through self-supervision be used for a later task?
- By evaluating a task head or adapting the representation through fine-tuning
- By assuming every target task requires no labels or validation
- By discarding all representations before making predictions
- By treating the pretraining loss as proof of every application's accuracy
- GPT-शैली मॉडल का स्व-पर्यवेक्षित कार्य BERT से किस प्रकार भिन्न है?
- यह बिल्कुल भी टेक्स्ट का उपयोग नहीं करता है
- इसमें प्रत्येक शब्द के लिए मैन्युअल लेबल की आवश्यकता होती है
- यह केवल दस्तावेज़ के पहले शब्द की भविष्यवाणी करता है
- यह नकाबपोश टोकन भरने के बजाय अगले टोकन की भविष्यवाणी करता है
- In the original SimCLR framework, which component is discarded for the reported downstream representation use?
- The encoder representation itself
- The contrastive projection head
- All training inputs before pretraining begins
- The positive-pair source-image relationship
- When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
- The newly inserted random token
- The next sentence's first token in every case
- The original token before replacement
- No target, because every random replacement is omitted from training