แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการสร้างแบบจำลองภาษามาสก์

ทำความเข้าใจการสร้างแบบจำลองภาษามาสก์ รูปแบบการเลือกโทเค็นของ BERT และทางเลือกในภายหลังสำหรับการฝึกอบรมล่วงหน้าแบบสองทิศทาง

เส้นทางแนะนำที่เกี่ยวข้องการสร้างแบบจำลองภาษามาสก์
คำถาม 1 ของ 8

งานฝึกอบรมหลักในการสร้างแบบจำลองภาษาที่สวมหน้ากากคืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. งานฝึกอบรมหลักในการสร้างแบบจำลองภาษาที่สวมหน้ากากคืออะไร?
    • ทำนายคำที่จงใจซ่อนเร้นจากบริบทโดยรอบ
    • การทำนายคำถัดไปหลังประโยค
    • การแปลข้อความระหว่างสองภาษา
    • จัดอันดับประโยคตามความถูกต้องทางไวยากรณ์
  2. โดยทั่วไปแล้ว BERT จะปกปิดโทเค็นประมาณกี่เปอร์เซ็นต์ระหว่างการฝึกล่วงหน้า
    • ประมาณ 50%
    • ประมาณ 15%
    • ประมาณ 1%
    • ประมาณ 90%
  3. เหตุใด MLM จึงให้แบบจำลองความเข้าใจแบบสองทิศทาง
    • มันอ่านประโยคย้อนหลัง
    • มันใช้สองรุ่นแยกกัน
    • แต่ละโทเค็นสนใจคำทั้งซ้ายและขวา
    • มันดูเฉพาะคำก่อนหน้าเท่านั้น
  4. ในรูปแบบการพรางตัวของ BERT จะเกิดอะไรขึ้นกับประมาณ 10% ของตำแหน่งที่เลือกแทนที่จะกลายเป็น [MASK]
    • พวกเขาจะถูกลบออกทั้งหมด
    • พวกมันซ้ำกัน
    • พวกเขาเป็นตัวพิมพ์ใหญ่
    • พวกเขาจะถูกแทนที่ด้วยคำสุ่ม
  5. การคำนวณการสูญเสีย MLM อยู่ที่ตำแหน่งใด
    • เฉพาะตำแหน่งที่สวมหน้ากากเท่านั้น
    • ทุกโทเค็นในประโยค
    • เฉพาะโทเค็นแรกและสุดท้ายเท่านั้น
    • โทเค็นเครื่องหมายวรรคตอนเท่านั้น
  6. เมื่อเปรียบเทียบกับการคาดการณ์โทเค็นถัดไป MLM แลกเปลี่ยนอะไรไป?
    • ความสามารถในการใช้บริบท
    • ความสามารถในการสร้างข้อความจากซ้ายไปขวาได้อย่างคล่องแคล่ว
    • การเข้าถึงคำศัพท์
    • การใช้ความสนใจ
  7. How does RoBERTa’s dynamic masking differ from BERT’s original setup?
    • It masks only the first token of every sentence
    • It predicts future tokens with a causal decoder
    • The masked positions can be regenerated across training passes instead of remaining fixed
    • It replaces all masked tokens with random numbers
  8. What auxiliary objective did the original BERT pretraining recipe combine with MLM?
    • Image patch reconstruction
    • Audio speaker diarization
    • A reward model for code generation
    • Next-sentence prediction