แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการปรับมาตรฐาน RMSNorm และพรีเลเยอร์

ตรวจสอบสถิติ RMSNorm ตำแหน่ง Pre-LN เส้นทางที่เหลือ และการทำให้เป็นมาตรฐานของคีย์คิวรีโดยไม่ทำให้เกิดความสับสนกับตัวเลือกการออกแบบอิสระเหล่านี้

เส้นทางแนะนำที่เกี่ยวข้องRmsnorm และการทำให้เป็นมาตรฐานเบื้องต้น
คำถาม 1 ของ 8

RMSNorm ละเว้นอะไรเมื่อเปรียบเทียบกับ LayerNorm มาตรฐาน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. RMSNorm ละเว้นอะไรเมื่อเปรียบเทียบกับ LayerNorm มาตรฐาน
    • การลบค่าเฉลี่ย (จัดกึ่งกลางใหม่)
    • พารามิเตอร์สเกลที่เรียนรู้
    • การเชื่อมต่อที่เหลือ
    • การทำงานของซอฟต์แม็กซ์
  2. RMSNorm หารเวกเตอร์การเปิดใช้งานแต่ละรายการด้วยปริมาณเท่าใด
    • ความแปรปรวนของมัน
    • ค่าเฉลี่ยรากของมันคือกำลังสอง
    • ค่าสัมบูรณ์สูงสุดของมัน
    • มันเป็นมาตรฐาน L1
  3. What gradient behavior does Pre-LN support at initialization in deep Transformers?
    • It guarantees stable training for every model without tuning
    • It removes the residual stream from the block
    • It can make gradients better behaved at initialization and reduce some stability problems
    • It makes all gradients exactly equal across layers
  4. ในบล็อก Pre-LN เส้นทางใดที่เลเยอร์การทำให้เป็นมาตรฐานจงใจปล่อยให้ไม่ถูกแตะต้อง?
    • น้ำหนักป้อนไปข้างหน้า
    • การฝังโทเค็น
    • เอาท์พุตซอฟต์แม็กซ์
    • การเชื่อมต่อที่เหลือ (ตัวตน)
  5. ตระกูลโมเดล open-weight สมัยใหม่ใดบ้างที่ใช้ RMSNorm เป็นค่าเริ่มต้น
    • ลามา, มิสทรัล และเควน
    • AlexNet และ VGG
    • ResNet และการเริ่มต้น
    • BERT-base และ Transformer ดั้งเดิม
  6. 'QK-norm' ซึ่งเป็นแอปพลิเคชันล่าสุดของ RMSNorm คืออะไร
    • การทำให้บันทึกเอาท์พุตสุดท้ายเป็นมาตรฐาน
    • การใช้ RMSNorm กับแบบสอบถามและคีย์ความสนใจเพื่อควบคุมการเติบโตของบันทึก
    • การหาปริมาณแคชคีย์-ค่า
    • วิธีข้ามการทำให้เป็นมาตรฐานโดยสิ้นเชิง
  7. A feature vector has a nonzero mean before RMSNorm. What does the normalization do to that mean?
    • It always sets the mean exactly to zero
    • It replaces each feature with its rank
    • It does not explicitly subtract the mean, though rescaling can change its value
    • It subtracts the maximum activation from every feature
  8. How are RMSNorm and Pre-LN related as design choices?
    • They are two names for subtracting the mean
    • RMSNorm always means normalization after the residual
    • Pre-LN specifies the optimizer rather than the block
    • RMSNorm specifies the normalization calculation; Pre-LN specifies where normalization sits in the residual block