แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบสูตรการฝึกอบรม RoBERTa

ทบทวนการมาสก์ วัตถุประสงค์ในการฝึกอบรมล่วงหน้า ระดับข้อมูล โทเค็นไนเซอร์ ตัวแปรหลายภาษา และบทเรียนเกี่ยวกับการเปรียบเทียบแบบจำลองที่มีการควบคุม

เส้นทางแนะนำที่เกี่ยวข้องสูตรการฝึกอบรมโรเบอร์ตา
คำถาม 1 ของ 8

ความเข้าใจหลักของ RoBERTa เกี่ยวกับ BERT ดั้งเดิมคืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ความเข้าใจหลักของ RoBERTa เกี่ยวกับ BERT ดั้งเดิมคืออะไร
    • สถาปัตยกรรมของ BERT มีข้อบกพร่องโดยพื้นฐาน
    • BERT ใช้พารามิเตอร์มากเกินไป
    • BERT ได้รับการฝึกฝนอย่างมาก
    • BERT ต้องการตัวถอดรหัสเพิ่ม
  2. RoBERTa ลบวัตถุประสงค์ของ BERT ข้อใดออก
    • การทำนายประโยคถัดไป
    • การสร้างแบบจำลองภาษามาสก์
    • การจำแนกประเภทโทเค็น
    • แทนที่การตรวจจับโทเค็น
  3. การมาสก์แบบไดนามิกใน RoBERTa คืออะไร
    • ปกปิดเฉพาะคำที่หายากที่สุดในคลังข้อมูล
    • กำบังทั้งประโยคในคราวเดียว
    • อย่าปิดบังโทเค็นเดียวกันสองครั้งในคลังข้อมูล
    • การสร้างรูปแบบมาสก์ใหม่ทุกครั้งที่เห็นลำดับ
  4. ข้อมูลการฝึกอบรมของ RoBERTa เปรียบเทียบกับของ BERT อย่างไร
    • มันใช้ข้อความขนาด 16GB เท่ากัน
    • ใช้พื้นที่ประมาณ 160GB เพิ่มขึ้นประมาณ 10 เท่า
    • ใช้ข้อมูลน้อยกว่าแต่มีป้ายกำกับที่สะอาดกว่า
    • ใช้เฉพาะวิกิพีเดียเท่านั้น
  5. องค์กรไหนปล่อย RoBERTa?
    • เฟสบุ๊คไอ (Meta)
    • Google เอไอ
    • OpenAI
    • Microsoft การวิจัย
  6. RoBERTa เวอร์ชันหลายภาษาเรียกว่าอะไร
    • เอ็มเบิร์ต
    • โรเบอร์ตา-XL
    • XLM-R (XLM-RoBERTa)
    • PolyRoBERต้า
  7. Which text encoding did the RoBERTa recipe use according to the guide?
    • A fixed vocabulary of complete words only
    • Byte-level byte-pair encoding
    • One image patch per token
    • A phoneme-only vocabulary
  8. A researcher credits a new layer for beating BERT but also changes the data volume and training duration. Which lesson from RoBERTa matters?
    • Architecture changes always explain every improvement
    • Training duration can be ignored if the benchmark is the same
    • Data volume cannot affect an encoder
    • Training choices can account for gains, so they must be considered when comparing models