คู่มือทางเทคนิค

RMSNorm และการทำให้เป็นมาตรฐานก่อนเลเยอร์

RMSNorm เป็นเลเยอร์การทำให้เป็นมาตรฐานแบบน้ำหนักเบาซึ่งจะปรับขนาดการเปิดใช้งานใหม่ตามกำลังสองเฉลี่ยของราก และการทำให้เป็นมาตรฐานในชั้นก่อนจะวางขั้นตอนนั้นไว้ก่อนหน้าแต่ละชั้นย่อยแทนที่จะเป็นหลัง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ RMSNorm และการปรับให้เป็นมาตรฐานแบบพรีเลเยอร์
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Together they make deep transformers train stably without warmup tricks.

เจาะลึก

Standard LayerNorm ลบค่าเฉลี่ยแล้วหารด้วยค่าเบี่ยงเบนมาตรฐานทั่วเวกเตอร์คุณลักษณะ จากนั้นใช้สเกลและการเปลี่ยนแปลงที่เรียนรู้ RMSNorm ซึ่งแนะนำโดย Zhang และ Sennrich ในปี 2019 ลดการเฉลี่ยเป็นศูนย์กลางและอคติทั้งหมด: เพียงหารเวกเตอร์แต่ละตัวด้วยรากกำลังสองเฉลี่ยขององค์ประกอบ และคูณด้วยการเรียนรู้ที่เพิ่มขึ้นต่อคุณสมบัติ การดำเนินการนี้จะลบสถิติหนึ่งรายการและการดำเนินการหลายอย่างออก โดยตัดการประมวลผลประมาณ 10-50% ในเลเยอร์ปกติในขณะที่มีความแม่นยำตรงกัน การวางตำแหน่ง 'Pre-LN' แยกจากกัน (บรรทัดฐานก่อนความสนใจ/MLP โดยมีเส้นทางที่เหลือสะอาดรอบๆ) จะรักษาขนาดการไล่ระดับสีไว้ที่ขอบเขตการเริ่มต้น ดังนั้นโมเดลต่างๆ เช่น GPT-3, LLaMA และ PaLM ฝึกฝนโดยไม่ต้องแฮ็กการวอร์มอัพอัตราการเรียนรู้ที่ต้องใช้หม้อแปลง Post-LN ดั้งเดิม

การใช้งานจริงในโลกแห่งความเป็นจริง

LLaMA, Mistral และ Qwen ล้วนแทนที่ LayerNorm ด้วย RMSNorm เพื่อลดการหน่วงเวลาของการอนุมานในทุกโทเค็น

Pre-LN ช่วยให้โมเดลสไตล์ GPT สามารถฝึกฝนได้โดยไม่ต้องวอร์มอัพอัตราการเรียนรู้ที่จำเป็นต้องใช้หม้อแปลง Post-LN ปี 2017

การทำให้เป็นมาตรฐานของ QK ใช้ RMSNorm ในการสืบค้นและคีย์เพื่อหยุดการบันทึกไม่ให้ระเบิดในโมเดลขนาดใหญ่

หม้อแปลงเคลื่อนที่และเอดจ์ใช้ RMSNorm เนื่องจากการลดค่าเฉลี่ยและความลำเอียงจะช่วยลดการรับส่งข้อมูลหน่วยความจำ

อนาคตของ RMSNorm และการปรับให้เป็นมาตรฐานแบบพรีเลเยอร์

ขณะนี้ RMSNorm เป็นค่าเริ่มต้นใน LLM แบบเปิดส่วนใหญ่ (LLaMA, Mistral, Qwen, Gemma) ดังนั้นคาดว่าจะยังคงเป็นมาตรฐาน การวิจัยกำลังปรับปรุงสูตร: QK-norm ใช้ RMSNorm กับข้อความค้นหาและคีย์เพื่อควบคุมการเติบโตของ Logit และแล็บบางแห่งรวมก่อนและหลังบรรทัดฐาน ('แซนวิช' หรือ 'peri-LN') เพื่อความเสถียรเป็นพิเศษในระดับล้านล้านพารามิเตอร์ เคอร์เนลของฮาร์ดแวร์จะหลอมรวมการทำงานเพื่อความรวดเร็ว

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the RMSNorm and Pre-Layer Normalization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is RMSNorm and Pre-Layer Normalization?

RMSNorm เป็นเลเยอร์การทำให้เป็นมาตรฐานแบบน้ำหนักเบาซึ่งจะปรับขนาดการเปิดใช้งานใหม่ตามกำลังสองเฉลี่ยของราก และการทำให้เป็นมาตรฐานในชั้นก่อนจะวางขั้นตอนนั้นไว้ก่อนหน้าแต่ละชั้นย่อยแทนที่จะเป็นหลัง พวกเขาช่วยกันทำให้หม้อแปลงไฟฟ้าลึกฝึกฝนได้อย่างเสถียรโดยไม่ต้องวอร์มอัพ

RMSNorm ละเว้นอะไรเมื่อเปรียบเทียบกับ LayerNorm มาตรฐาน

RMSNorm ข้ามการคำนวณและลบค่าเฉลี่ย โดยทำให้เป็นมาตรฐานด้วยกำลังสองเฉลี่ยรากของการเปิดใช้งานเท่านั้น

RMSNorm หารเวกเตอร์การเปิดใช้งานแต่ละรายการด้วยปริมาณเท่าใด

RMSNorm หารด้วย sqrt ของค่าเฉลี่ยขององค์ประกอบกำลังสอง เช่น ค่าเฉลี่ยรากกำลังสอง จากนั้นนำกำไรที่เรียนรู้ไปใช้

What gradient behavior does Pre-LN support at initialization in deep Transformers?

Xiong et al. analyze gradient behavior and show Pre-LN gradients are better behaved at initialization; this does not guarantee warmup-free training for every setup.

ในบล็อก Pre-LN เส้นทางใดที่เลเยอร์การทำให้เป็นมาตรฐานจงใจปล่อยให้ไม่ถูกแตะต้อง?

Pre-LN ทำให้อินพุตเป็นเลเยอร์ย่อยเป็นมาตรฐาน แต่ทางลัดที่เหลือจะข้ามมันไป โดยรักษาทางหลวงลาดที่สะอาด

ตระกูลโมเดล open-weight สมัยใหม่ใดบ้างที่ใช้ RMSNorm เป็นค่าเริ่มต้น

RMSNorm กลายเป็นมาตรฐานใน LLaMA, Mistral, Qwen, Gemma และ LLM ล่าสุด

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →