แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเตรียมการฝึกอบรม ELECTRA

อธิบายบทบาทของการตรวจจับโทเค็นที่ถูกแทนที่ ตัวสร้างและตัวแยกแยะ การเรียนรู้ตำแหน่งโทเค็น และขีดจำกัดของการเปรียบเทียบการประมวลผล

เส้นทางแนะนำที่เกี่ยวข้องการฝึกล่วงหน้าด้วยไฟฟ้า
คำถาม 1 ของ 8

ELECTRA ใช้งานการฝึกอบรมอะไรแทนการสร้างแบบจำลองภาษาที่ปกปิด

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ELECTRA ใช้งานการฝึกอบรมอะไรแทนการสร้างแบบจำลองภาษาที่ปกปิด
    • แทนที่การตรวจจับโทเค็น
    • การทำนายประโยคถัดไป
    • การทำนายคำถัดไปแบบถดถอยอัตโนมัติ
    • การสร้างแบบจำลองภาษาการเรียงสับเปลี่ยน
  2. เหตุใด ELECTRA จึงมีประสิทธิภาพในการคำนวณมากกว่า BERT
    • มันใช้คำศัพท์ที่น้อยกว่ามาก
    • โดยจะคำนวณสัญญาณการเรียนรู้บนโทเค็นทั้งหมด ไม่ใช่แค่สัญญาณที่ถูกปิดบัง
    • มันฝึกฝนเฉพาะโทเค็นที่สวมหน้ากาก 15% เท่านั้น
    • มันข้ามกลไกความสนใจโดยสิ้นเชิง
  3. เครือข่ายเครื่องกำเนิดไฟฟ้าขนาดเล็กมีบทบาทอย่างไรใน ELECTRA
    • โดยจะจัดอันดับผลลัพธ์สุดท้ายตามคุณภาพ
    • มันบีบอัดโมเดลหลังการฝึก
    • มันสร้างโทเค็นทดแทนที่เป็นไปได้เพื่อให้ผู้เลือกปฏิบัติตัดสิน
    • มันแปลข้อความระหว่างภาษา
  4. จะเกิดอะไรขึ้นกับเครื่องกำเนิดไฟฟ้าหลังจากการฝึกล่วงหน้าเสร็จสิ้น?
    • มีการปรับแต่งอย่างละเอียดสำหรับงานดาวน์สตรีม
    • มันถูกรวมเข้ากับผู้เลือกปฏิบัติ
    • มันจะกลายเป็นตัวถอดรหัสสำหรับรุ่น
    • มันถูกทิ้ง; มีการใช้เฉพาะตัวแบ่งแยกเท่านั้น
  5. ELECTRA ได้รับการพัฒนาโดยนักวิจัยจากองค์กรใดบ้างเป็นหลัก
    • Google และสแตนฟอร์ด
    • Meta AI และ NYU
    • OpenAI และ Microsoft
    • DeepMind และอ็อกซ์ฟอร์ด
  6. รุ่นต่อมาใดที่ขยายแนวคิดการตรวจจับโทเค็นที่ถูกแทนที่ของ ELECTRA
    • GPT-2
    • DeBERTa-v3
    • T5
    • Word2Vec
  7. What happens if ELECTRA’s generator proposes the original token at a position?
    • It is always labeled replaced because the generator proposed it
    • The position is removed from the input
    • That token is treated as original by the discriminator’s replaced-token label
    • The whole sequence is discarded
  8. When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
    • Compare model names alone
    • Assume every ELECTRA run uses one fixed compute ratio
    • Ignore generator training cost
    • Specify model size, data, training budget, and evaluation setting