แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการสร้างแบบจำลองภาษามาสก์
ทำความเข้าใจการสร้างแบบจำลองภาษามาสก์ รูปแบบการเลือกโทเค็นของ BERT และทางเลือกในภายหลังสำหรับการฝึกอบรมล่วงหน้าแบบสองทิศทาง
คำถาม 1 ของ 8
งานฝึกอบรมหลักในการสร้างแบบจำลองภาษาที่สวมหน้ากากคืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- งานฝึกอบรมหลักในการสร้างแบบจำลองภาษาที่สวมหน้ากากคืออะไร?
- ทำนายคำที่จงใจซ่อนเร้นจากบริบทโดยรอบ
- การทำนายคำถัดไปหลังประโยค
- การแปลข้อความระหว่างสองภาษา
- จัดอันดับประโยคตามความถูกต้องทางไวยากรณ์
- โดยทั่วไปแล้ว BERT จะปกปิดโทเค็นประมาณกี่เปอร์เซ็นต์ระหว่างการฝึกล่วงหน้า
- ประมาณ 50%
- ประมาณ 15%
- ประมาณ 1%
- ประมาณ 90%
- เหตุใด MLM จึงให้แบบจำลองความเข้าใจแบบสองทิศทาง
- มันอ่านประโยคย้อนหลัง
- มันใช้สองรุ่นแยกกัน
- แต่ละโทเค็นสนใจคำทั้งซ้ายและขวา
- มันดูเฉพาะคำก่อนหน้าเท่านั้น
- ในรูปแบบการพรางตัวของ BERT จะเกิดอะไรขึ้นกับประมาณ 10% ของตำแหน่งที่เลือกแทนที่จะกลายเป็น [MASK]
- พวกเขาจะถูกลบออกทั้งหมด
- พวกมันซ้ำกัน
- พวกเขาเป็นตัวพิมพ์ใหญ่
- พวกเขาจะถูกแทนที่ด้วยคำสุ่ม
- การคำนวณการสูญเสีย MLM อยู่ที่ตำแหน่งใด
- เฉพาะตำแหน่งที่สวมหน้ากากเท่านั้น
- ทุกโทเค็นในประโยค
- เฉพาะโทเค็นแรกและสุดท้ายเท่านั้น
- โทเค็นเครื่องหมายวรรคตอนเท่านั้น
- เมื่อเปรียบเทียบกับการคาดการณ์โทเค็นถัดไป MLM แลกเปลี่ยนอะไรไป?
- ความสามารถในการใช้บริบท
- ความสามารถในการสร้างข้อความจากซ้ายไปขวาได้อย่างคล่องแคล่ว
- การเข้าถึงคำศัพท์
- การใช้ความสนใจ
- How does RoBERTa’s dynamic masking differ from BERT’s original setup?
- It masks only the first token of every sentence
- It predicts future tokens with a causal decoder
- The masked positions can be regenerated across training passes instead of remaining fixed
- It replaces all masked tokens with random numbers
- What auxiliary objective did the original BERT pretraining recipe combine with MLM?
- Image patch reconstruction
- Audio speaker diarization
- A reward model for code generation
- Next-sentence prediction