แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบสูตรการฝึกอบรม RoBERTa
ทบทวนการมาสก์ วัตถุประสงค์ในการฝึกอบรมล่วงหน้า ระดับข้อมูล โทเค็นไนเซอร์ ตัวแปรหลายภาษา และบทเรียนเกี่ยวกับการเปรียบเทียบแบบจำลองที่มีการควบคุม
คำถาม 1 ของ 8
ความเข้าใจหลักของ RoBERTa เกี่ยวกับ BERT ดั้งเดิมคืออะไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ความเข้าใจหลักของ RoBERTa เกี่ยวกับ BERT ดั้งเดิมคืออะไร
- สถาปัตยกรรมของ BERT มีข้อบกพร่องโดยพื้นฐาน
- BERT ใช้พารามิเตอร์มากเกินไป
- BERT ได้รับการฝึกฝนอย่างมาก
- BERT ต้องการตัวถอดรหัสเพิ่ม
- RoBERTa ลบวัตถุประสงค์ของ BERT ข้อใดออก
- การทำนายประโยคถัดไป
- การสร้างแบบจำลองภาษามาสก์
- การจำแนกประเภทโทเค็น
- แทนที่การตรวจจับโทเค็น
- การมาสก์แบบไดนามิกใน RoBERTa คืออะไร
- ปกปิดเฉพาะคำที่หายากที่สุดในคลังข้อมูล
- กำบังทั้งประโยคในคราวเดียว
- อย่าปิดบังโทเค็นเดียวกันสองครั้งในคลังข้อมูล
- การสร้างรูปแบบมาสก์ใหม่ทุกครั้งที่เห็นลำดับ
- ข้อมูลการฝึกอบรมของ RoBERTa เปรียบเทียบกับของ BERT อย่างไร
- มันใช้ข้อความขนาด 16GB เท่ากัน
- ใช้พื้นที่ประมาณ 160GB เพิ่มขึ้นประมาณ 10 เท่า
- ใช้ข้อมูลน้อยกว่าแต่มีป้ายกำกับที่สะอาดกว่า
- ใช้เฉพาะวิกิพีเดียเท่านั้น
- องค์กรไหนปล่อย RoBERTa?
- เฟสบุ๊คไอ (Meta)
- Google เอไอ
- OpenAI
- Microsoft การวิจัย
- RoBERTa เวอร์ชันหลายภาษาเรียกว่าอะไร
- เอ็มเบิร์ต
- โรเบอร์ตา-XL
- XLM-R (XLM-RoBERTa)
- PolyRoBERต้า
- Which text encoding did the RoBERTa recipe use according to the guide?
- A fixed vocabulary of complete words only
- Byte-level byte-pair encoding
- One image patch per token
- A phoneme-only vocabulary
- A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
- Architecture changes always explain every improvement
- Training duration can be ignored if the benchmark is the same
- Data volume cannot affect an encoder
- Training choices can account for gains, so they must be considered when comparing models