แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการเตรียมการฝึกอบรม ELECTRA
อธิบายบทบาทของการตรวจจับโทเค็นที่ถูกแทนที่ ตัวสร้างและตัวแยกแยะ การเรียนรู้ตำแหน่งโทเค็น และขีดจำกัดของการเปรียบเทียบการประมวลผล
คำถาม 1 ของ 8
ELECTRA ใช้งานการฝึกอบรมอะไรแทนการสร้างแบบจำลองภาษาที่ปกปิด
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ELECTRA ใช้งานการฝึกอบรมอะไรแทนการสร้างแบบจำลองภาษาที่ปกปิด
- แทนที่การตรวจจับโทเค็น
- การทำนายประโยคถัดไป
- การทำนายคำถัดไปแบบถดถอยอัตโนมัติ
- การสร้างแบบจำลองภาษาการเรียงสับเปลี่ยน
- เหตุใด ELECTRA จึงมีประสิทธิภาพในการคำนวณมากกว่า BERT
- มันใช้คำศัพท์ที่น้อยกว่ามาก
- โดยจะคำนวณสัญญาณการเรียนรู้บนโทเค็นทั้งหมด ไม่ใช่แค่สัญญาณที่ถูกปิดบัง
- มันฝึกฝนเฉพาะโทเค็นที่สวมหน้ากาก 15% เท่านั้น
- มันข้ามกลไกความสนใจโดยสิ้นเชิง
- เครือข่ายเครื่องกำเนิดไฟฟ้าขนาดเล็กมีบทบาทอย่างไรใน ELECTRA
- โดยจะจัดอันดับผลลัพธ์สุดท้ายตามคุณภาพ
- มันบีบอัดโมเดลหลังการฝึก
- มันสร้างโทเค็นทดแทนที่เป็นไปได้เพื่อให้ผู้เลือกปฏิบัติตัดสิน
- มันแปลข้อความระหว่างภาษา
- จะเกิดอะไรขึ้นกับเครื่องกำเนิดไฟฟ้าหลังจากการฝึกล่วงหน้าเสร็จสิ้น?
- มีการปรับแต่งอย่างละเอียดสำหรับงานดาวน์สตรีม
- มันถูกรวมเข้ากับผู้เลือกปฏิบัติ
- มันจะกลายเป็นตัวถอดรหัสสำหรับรุ่น
- มันถูกทิ้ง; มีการใช้เฉพาะตัวแบ่งแยกเท่านั้น
- ELECTRA ได้รับการพัฒนาโดยนักวิจัยจากองค์กรใดบ้างเป็นหลัก
- Google และสแตนฟอร์ด
- Meta AI และ NYU
- OpenAI และ Microsoft
- DeepMind และอ็อกซ์ฟอร์ด
- รุ่นต่อมาใดที่ขยายแนวคิดการตรวจจับโทเค็นที่ถูกแทนที่ของ ELECTRA
- GPT-2
- DeBERTa-v3
- T5
- Word2Vec
- What happens if ELECTRA’s generator proposes the original token at a position?
- It is always labeled replaced because the generator proposed it
- The position is removed from the input
- That token is treated as original by the discriminator’s replaced-token label
- The whole sequence is discarded
- When comparing ELECTRA with another pretraining method, what makes a compute claim meaningful?
- Compare model names alone
- Assume every ELECTRA run uses one fixed compute ratio
- Ignore generator training cost
- Specify model size, data, training budget, and evaluation setting