แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเรียนรู้ด้วยตนเอง

ตรวจสอบเป้าหมายที่ได้รับข้อมูล, การมาสก์ BERT, คู่ SimCLR, ความต้องการคำอธิบายประกอบ, การปรับเปลี่ยน, งานโทเค็นถัดไป, หัวฉายภาพ และเป้าหมายโทเค็นที่เสียหาย

เส้นทางแนะนำที่เกี่ยวข้องการเรียนรู้แบบมีการดูแลตนเอง
คำถาม 1 ของ 8

Where does the supervision signal in the described self-supervised examples come from?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Where does the supervision signal in the described self-supervised examples come from?
    • A requirement for no training objective
    • Only new human semantic labels for every pretraining example
    • A rule that examples contain no useful information
    • The data and defined transformations of it
  2. Which input positions contribute prediction targets to the original BERT masked-language-model loss?
    • The positions selected for the MLM prediction task
    • Every position in the entire input regardless of selection
    • Only the first position of each new sentence
    • Only positions that appear after the final sentence boundary
  3. ในการเรียนรู้เชิงเปรียบเทียบเช่น SimCLR 'คู่เชิงบวก' คือ:
    • สองภาพที่ไม่เกี่ยวข้องกันโดยสิ้นเชิง
    • ป้ายกำกับคู่หนึ่งที่เขียนโดยมนุษย์
    • มุมมองเสริมสองมุมมองของรูปภาพเดียวกันที่ควรอยู่ใกล้ในพื้นที่ฝัง
    • ชุดข้อมูลสองชุด
  4. What annotation requirement can self-supervised pretraining reduce in the described examples?
    • The need for any usable input data
    • Separate task-specific semantic labels for every pretraining example
    • All computational cost by definition
    • The need to assess downstream performance
  5. How can a representation learned through self-supervision be used for a later task?
    • By evaluating a task head or adapting the representation through fine-tuning
    • By assuming every target task requires no labels or validation
    • By discarding all representations before making predictions
    • By treating the pretraining loss as proof of every application's accuracy
  6. งานดูแลตนเองของโมเดลสไตล์ GPT แตกต่างจากของ BERT อย่างไร
    • มันไม่ใช้ข้อความเลย
    • ต้องมีป้ายกำกับด้วยตนเองสำหรับทุกคำ
    • คาดการณ์เฉพาะคำแรกของเอกสารเท่านั้น
    • โดยจะทำนายโทเค็นถัดไปแทนที่จะกรอกโทเค็นที่ปกปิดไว้
  7. In the original SimCLR framework, which component is discarded for the reported downstream representation use?
    • The encoder representation itself
    • The contrastive projection head
    • All training inputs before pretraining begins
    • The positive-pair source-image relationship
  8. When original BERT pretraining replaces a selected input position with a random token, what remains its loss target?
    • The newly inserted random token
    • The next sentence's first token in every case
    • The original token before replacement
    • No target, because every random replacement is omitted from training