แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบส่วนผสมของความลึก
ทดสอบเราเตอร์โทเค็นที่เรียนรู้ของ MoD ความจุ Top-K แบบคงที่ เส้นทางที่เหลือสำหรับโทเค็นที่ถูกข้าม รูปร่างคงที่ และการป้องกันการกำหนดเส้นทางเชิงสาเหตุ
คำถาม 1 ของ 8
Mixture of Depths แตกต่างกันไปตามโทเค็นอย่างไร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- Mixture of Depths แตกต่างกันไปตามโทเค็นอย่างไร
- แต่ละโทเค็นได้รับการประมวลผล (เลเยอร์ใด) มากเพียงใด
- คำศัพท์ที่ใช้
- ชุดข้อมูลการฝึกอบรม
- ภาษาเอาท์พุท
- MoD จะรักษางบประมาณการประมวลผลให้คาดการณ์ได้อย่างไร
- โดยสุ่มทิ้งน้ำหนักโมเดลลงครึ่งหนึ่ง
- โดยการประมวลผลโทเค็นเศษส่วน top-k คงที่ในแต่ละบล็อก
- โดยใช้รูปแบบที่แตกต่างกันในแต่ละประโยค
- โดยปิดบังความสนใจโดยสิ้นเชิง
- จะเกิดอะไรขึ้นกับโทเค็นที่เราเตอร์ไม่ได้เลือกที่บล็อกที่กำหนด
- พวกมันจะถูกลบออกจากลำดับ
- พวกเขาถูกส่งไปยังรุ่นแยกต่างหาก
- พวกเขาข้ามบล็อกผ่านการเชื่อมต่อที่เหลือโดยผ่านโดยไม่มีการเปลี่ยนแปลง
- พวกเขาจะถูกแปลงเป็นรูปภาพ
- Which lab published the Mixture of Depths technique?
- OpenAI ในปี 2019
- Meta ในปี 2558
- Microsoft ในปี 2012
- Google DeepMind ในปี 2024
- การรวม MoD เข้ากับ Mixture-of-Experts ก่อให้เกิดอะไร?
- โหมดซึ่งกำหนดเส้นทางทั้งเชิงลึกและตัวเลือกของผู้เชี่ยวชาญ
- โมเดลที่ไม่มีพารามิเตอร์
- เครือข่าย Convolutional ที่บริสุทธิ์
- ระบบโทเค็นเท่านั้น
- เหตุใดจึงเลือกใช้ top-k แบบคงที่มากกว่าเกณฑ์ต่อโทเค็นใน MoD
- มันทำให้โมเดลส่งออกข้อความแบบสุ่ม
- มันทำให้รูปร่างของเทนเซอร์คงที่ ซึ่งมีประสิทธิภาพกับฮาร์ดแวร์
- มันขจัดความจำเป็นในการฝึกอบรม
- มันเพิ่มขนาดคำศัพท์
- What does the learned router do at a Mixture-of-Depths block?
- Selects a new model family for every prompt
- Predicts labels for the next training batch
- Scores tokens so the block can select which ones receive full attention and MLP computation
- Changes the vocabulary size at inference
- Why does causal generation in MoD use auxiliary predictors for routing?
- To let a model read the entire answer before generating
- To remove the fixed top-k compute budget
- To convert the sequence into an image
- To make routing decisions without looking at future tokens