ต่อไปคำแนะนำต่อไป
การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF
ความรู้พื้นฐาน
คู่มือพื้นฐาน
การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
เลเยอร์การทำให้เป็นมาตรฐานจะรักษาตัวเลขที่ไหลผ่านเครือข่ายที่มีขนาดที่ดี ซึ่งจะช่วยเร่งความเร็วและทำให้การฝึกอบรมมีความเสถียร การทำให้เป็นมาตรฐานแบบแบทช์ทำได้โดยการคำนวณค่าเฉลี่ยและความแปรปรวนของแต่ละคุณลักษณะในมินิแบทช์ทั้งหมด แต่นั่นจะทำให้เปราะบางเมื่อแบทช์มีขนาดเล็ก เนื่องจากสถิติจะมีสัญญาณรบกวนและไม่น่าเชื่อถือ การทำให้เป็นมาตรฐานของกลุ่มซึ่งแนะนำโดย Wu และ He ในปี 2018 จะลบแบทช์ออกจากสมการทั้งหมด สำหรับแต่ละตัวอย่าง จะแบ่งช่องออกเป็นกลุ่มตามจำนวนที่กำหนด จากนั้นทำให้แต่ละกลุ่มเป็นมาตรฐานโดยใช้เฉพาะค่าของตัวอย่างนั้นเท่านั้น เนื่องจากการคำนวณไม่เคยขึ้นอยู่กับตัวอย่างอื่นๆ ในชุด ประสิทธิภาพจึงคงที่ไม่ว่าชุดนั้นจะเก็บภาพได้ 32 ภาพหรือเพียงภาพเดียว ทำให้เป็นที่นิยมในการตรวจจับ การแบ่งส่วน และงานการมองเห็นที่ต้องใช้หน่วยความจำมาก
การตรวจจับออบเจ็กต์และการแบ่งส่วนอินสแตนซ์ (เช่น โมเดลสไตล์ Mask R-CNN) ที่ได้รับการฝึกโดยใช้แบตช์ต่อ GPU ที่น้อยมาก
แกนหลัก U-Net ภายในเครื่องกำเนิดภาพแบบกระจาย โดยที่ Group Norm จะรักษาระดับฟีเจอร์ให้คงที่
เครือข่าย 3 มิติและวิดีโอที่ใช้หน่วยความจำสูงบังคับให้ขนาดแบตช์ลดลงเหลือหนึ่งหรือสองขนาด
การปรับแต่งโมเดลวิชันซิสเต็มขนาดใหญ่บนฮาร์ดแวร์ที่มีข้อจำกัด โดยที่แบทช์ขนาดเล็กทำให้สถิติ Batch Norm ไม่น่าเชื่อถือ
การทำให้เป็นมาตรฐานแบบกลุ่มยังคงเป็นตัวเลือกที่เลือกใช้ในทุกที่ที่แบทช์ต้องมีขนาดเล็ก เช่น การตรวจจับและการแบ่งส่วนความละเอียดสูง โมเดล 3 มิติและวิดีโอ และการฝึกอบรมที่จำกัดหน่วยความจำ มันยังฝังอยู่ในสถาปัตยกรรมกำเนิดที่ใช้กันอย่างแพร่หลาย เช่น U-Nets ภายในโมเดลการแพร่กระจาย เมื่อโมเดลเติบโตขึ้นและความกดดันของหน่วยความจำทำให้ขนาดแบตช์ลดลง ตัวนอร์มัลไลเซอร์ที่ไม่ขึ้นกับแบตช์ ซึ่งได้แก่ Group Norm ควบคู่ไปกับ Layer Norm มีแนวโน้มที่จะยังคงเป็นบล็อคเริ่มต้น โดยมีการวิจัยอย่างต่อเนื่องเกี่ยวกับไฮบริดและทางเลือกอื่นที่ปราศจากการทำให้เป็นมาตรฐาน
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง เป็นเรื่องสำคัญเนื่องจากไม่เหมือนกับ Batch Normalization ตรงที่ทำงานได้ดีแม้ในขณะที่แบตช์มีขนาดเล็กก็ตาม
The guide says GN normalizes groups of channels within each example.
The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.
The paper’s computation uses within-example group statistics, independent of batch size.
The guide states that one group reduces the scheme to LayerNorm.
The guide says one channel per group corresponds to InstanceNorm.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF
ความรู้พื้นฐาน