แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเรียนรู้ด้วยตนเอง
ตรวจสอบเป้าหมายที่ได้รับข้อมูล, การมาสก์ BERT, คู่ SimCLR, ความต้องการคำอธิบายประกอบ, การปรับเปลี่ยน, งานโทเค็นถัดไป, หัวฉายภาพ และเป้าหมายโทเค็นที่เสียหาย
คำถาม 1 ของ 8
Where does the supervision signal in the described self-supervised examples come from?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Where does the supervision signal in the described self-supervised examples come from?
- A requirement for no training objective
- Only new human semantic labels for every pretraining example
- A rule that examples contain no useful information
- The data and defined transformations of it
- Which input positions contribute prediction targets to the original BERT masked-language-model loss?
- The positions selected for the MLM prediction task
- Every position in the entire input regardless of selection
- Only the first position of each new sentence
- Only positions that appear after the final sentence boundary
- ในการเรียนรู้เชิงเปรียบเทียบเช่น SimCLR 'คู่เชิงบวก' คือ:
- สองภาพที่ไม่เกี่ยวข้องกันโดยสิ้นเชิง
- ป้ายกำกับคู่หนึ่งที่เขียนโดยมนุษย์
- มุมมองเสริมสองมุมมองของรูปภาพเดียวกันที่ควรอยู่ใกล้ในพื้นที่ฝัง
- ชุดข้อมูลสองชุด
- What annotation requirement can self-supervised pretraining reduce in the described examples?
- The need for any usable input data
- Separate task-specific semantic labels for every pretraining example
- All computational cost by definition
- The need to assess downstream performance
- How can a representation learned through self-supervision be used for a later task?
- By evaluating a task head or adapting the representation through fine-tuning
- By assuming every target task requires no labels or validation
- By discarding all representations before making predictions
- By treating the pretraining loss as proof of every application's accuracy
- งานดูแลตนเองของโมเดลสไตล์ GPT แตกต่างจากของ BERT อย่างไร
- มันไม่ใช้ข้อความเลย
- ต้องมีป้ายกำกับด้วยตนเองสำหรับทุกคำ
- คาดการณ์เฉพาะคำแรกของเอกสารเท่านั้น
- โดยจะทำนายโทเค็นถัดไปแทนที่จะกรอกโทเค็นที่ปกปิดไว้
- In the original SimCLR framework, which component is discarded for the reported downstream representation use?
- The encoder representation itself
- The contrastive projection head
- All training inputs before pretraining begins
- The positive-pair source-image relationship
- When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
- The newly inserted random token
- The next sentence's first token in every case
- The original token before replacement
- No target, because every random replacement is omitted from training