แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบการปรับมาตรฐาน RMSNorm และพรีเลเยอร์
ตรวจสอบสถิติ RMSNorm ตำแหน่ง Pre-LN เส้นทางที่เหลือ และการทำให้เป็นมาตรฐานของคีย์คิวรีโดยไม่ทำให้เกิดความสับสนกับตัวเลือกการออกแบบอิสระเหล่านี้
คำถาม 1 ของ 8
RMSNorm ละเว้นอะไรเมื่อเปรียบเทียบกับ LayerNorm มาตรฐาน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- RMSNorm ละเว้นอะไรเมื่อเปรียบเทียบกับ LayerNorm มาตรฐาน
- การลบค่าเฉลี่ย (จัดกึ่งกลางใหม่)
- พารามิเตอร์สเกลที่เรียนรู้
- การเชื่อมต่อที่เหลือ
- การทำงานของซอฟต์แม็กซ์
- RMSNorm หารเวกเตอร์การเปิดใช้งานแต่ละรายการด้วยปริมาณเท่าใด
- ความแปรปรวนของมัน
- ค่าเฉลี่ยรากของมันคือกำลังสอง
- ค่าสัมบูรณ์สูงสุดของมัน
- มันเป็นมาตรฐาน L1
- What gradient behavior does Pre-LN support at initialization in deep Transformers?
- It guarantees stable training for every model without tuning
- It removes the residual stream from the block
- It can make gradients better behaved at initialization and reduce some stability problems
- It makes all gradients exactly equal across layers
- ในบล็อก Pre-LN เส้นทางใดที่เลเยอร์การทำให้เป็นมาตรฐานจงใจปล่อยให้ไม่ถูกแตะต้อง?
- น้ำหนักป้อนไปข้างหน้า
- การฝังโทเค็น
- เอาท์พุตซอฟต์แม็กซ์
- การเชื่อมต่อที่เหลือ (ตัวตน)
- ตระกูลโมเดล open-weight สมัยใหม่ใดบ้างที่ใช้ RMSNorm เป็นค่าเริ่มต้น
- ลามา, มิสทรัล และเควน
- AlexNet และ VGG
- ResNet และการเริ่มต้น
- BERT-base และ Transformer ดั้งเดิม
- 'QK-norm' ซึ่งเป็นแอปพลิเคชันล่าสุดของ RMSNorm คืออะไร
- การทำให้บันทึกเอาท์พุตสุดท้ายเป็นมาตรฐาน
- การใช้ RMSNorm กับแบบสอบถามและคีย์ความสนใจเพื่อควบคุมการเติบโตของบันทึก
- การหาปริมาณแคชคีย์-ค่า
- วิธีข้ามการทำให้เป็นมาตรฐานโดยสิ้นเชิง
- A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
- It always sets the mean exactly to zero
- It replaces each feature with its rank
- It does not explicitly subtract the mean, though rescaling can change its value
- It subtracts the maximum activation from every feature
- How are RMSNorm and Pre-LN related as design choices?
- They are two names for subtracting the mean
- RMSNorm always means normalization after the residual
- Pre-LN specifies the optimizer rather than the block
- RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block