การทำให้เป็นมาตรฐานของกลุ่ม
การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง
ภาพรวม
It matters because, unlike Batch Normalization, it works well even when batches are tiny.
เจาะลึก
เลเยอร์การทำให้เป็นมาตรฐานจะรักษาตัวเลขที่ไหลผ่านเครือข่ายที่มีขนาดที่ดี ซึ่งจะช่วยเร่งความเร็วและทำให้การฝึกอบรมมีความเสถียร การทำให้เป็นมาตรฐานแบบแบทช์ทำได้โดยการคำนวณค่าเฉลี่ยและความแปรปรวนของแต่ละคุณลักษณะในมินิแบทช์ทั้งหมด แต่นั่นจะทำให้เปราะบางเมื่อแบทช์มีขนาดเล็ก เนื่องจากสถิติจะมีสัญญาณรบกวนและไม่น่าเชื่อถือ การทำให้เป็นมาตรฐานของกลุ่มซึ่งแนะนำโดย Wu และ He ในปี 2018 จะลบแบทช์ออกจากสมการทั้งหมด สำหรับแต่ละตัวอย่าง จะแบ่งช่องออกเป็นกลุ่มตามจำนวนที่กำหนด จากนั้นทำให้แต่ละกลุ่มเป็นมาตรฐานโดยใช้เฉพาะค่าของตัวอย่างนั้นเท่านั้น เนื่องจากการคำนวณไม่เคยขึ้นอยู่กับตัวอย่างอื่นๆ ในชุด ประสิทธิภาพจึงคงที่ไม่ว่าชุดนั้นจะเก็บภาพได้ 32 ภาพหรือเพียงภาพเดียว ทำให้เป็นที่นิยมในการตรวจจับ การแบ่งส่วน และงานการมองเห็นที่ต้องใช้หน่วยความจำมาก
ข้อมูลเชิงลึกทางเทคนิค
Group Norm คำนวณค่าเฉลี่ยและความแปรปรวนเหนือมิติเชิงพื้นที่และช่องสัญญาณภายในแต่ละกลุ่มต่อตัวอย่าง จากนั้นจะปรับให้เป็นค่าเฉลี่ยเป็นศูนย์และความแปรปรวนของหน่วย และใช้สเกลต่อช่องสัญญาณที่เรียนรู้ (แกมมา) และการเปลี่ยนแปลง (เบต้า) โดยสรุปโครงร่างอื่นๆ โดยกลุ่มหนึ่งจะกลายเป็น Layer Normalization และหนึ่งช่องสัญญาณต่อกลุ่มจะกลายเป็น Instance Normalization จำนวนกลุ่มคือไฮเปอร์พารามิเตอร์ ซึ่งมักตั้งค่าเป็น 32
ผลกระทบเชิงกลยุทธ์
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ต้นทุนและงบประมาณ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
ทีมงานและขั้นตอนการทำงาน
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
อนาคตของการทำให้กลุ่มเป็นมาตรฐาน
การทำให้เป็นมาตรฐานแบบกลุ่มยังคงเป็นตัวเลือกที่เลือกใช้ในทุกที่ที่แบทช์ต้องมีขนาดเล็ก เช่น การตรวจจับและการแบ่งส่วนความละเอียดสูง โมเดล 3 มิติและวิดีโอ และการฝึกอบรมที่จำกัดหน่วยความจำ มันยังฝังอยู่ในสถาปัตยกรรมกำเนิดที่ใช้กันอย่างแพร่หลาย เช่น U-Nets ภายในโมเดลการแพร่กระจาย เมื่อโมเดลเติบโตขึ้นและความกดดันของหน่วยความจำทำให้ขนาดแบตช์ลดลง ตัวนอร์มัลไลเซอร์ที่ไม่ขึ้นกับแบตช์ ซึ่งได้แก่ Group Norm ควบคู่ไปกับ Layer Norm มีแนวโน้มที่จะยังคงเป็นบล็อคเริ่มต้น โดยมีการวิจัยอย่างต่อเนื่องเกี่ยวกับไฮบริดและทางเลือกอื่นที่ปราศจากการทำให้เป็นมาตรฐาน
การใช้งานจริงในโลกแห่งความเป็นจริง
การตรวจจับออบเจ็กต์และการแบ่งส่วนอินสแตนซ์ (เช่น โมเดลสไตล์ Mask R-CNN) ที่ได้รับการฝึกโดยใช้แบตช์ต่อ GPU ที่น้อยมาก
แกนหลัก U-Net ภายในเครื่องกำเนิดภาพแบบกระจาย โดยที่ Group Norm จะรักษาระดับฟีเจอร์ให้คงที่
เครือข่าย 3 มิติและวิดีโอที่ใช้หน่วยความจำสูงบังคับให้ขนาดแบตช์ลดลงเหลือหนึ่งหรือสองขนาด
การปรับแต่งโมเดลวิชันซิสเต็มขนาดใหญ่บนฮาร์ดแวร์ที่มีข้อจำกัด โดยที่แบทช์ขนาดเล็กทำให้สถิติ Batch Norm ไม่น่าเชื่อถือ
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
เอกสารที่ Group Normalization ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Group Normalization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การทำให้รางวัลเป็นมาตรฐานแบบกลุ่มใน RLHF
คำถามที่พบบ่อย
What is Group Normalization?
การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง เป็นเรื่องสำคัญเนื่องจากไม่เหมือนกับ Batch Normalization ตรงที่ทำงานได้ดีแม้ในขณะที่แบตช์มีขนาดเล็กก็ตาม
ข้อได้เปรียบหลักของ Group Normalization มากกว่า Batch Normalization คืออะไร
เนื่องจาก Group Norm คำนวณสถิติต่อตัวอย่าง แทนที่จะคำนวณข้ามชุด จึงไม่ถูกลดระดับด้วยชุดข้อมูลเล็กๆ ซึ่งแตกต่างจาก Batch Norm
การทำให้เป็นมาตรฐานของกลุ่มคำนวณค่าเฉลี่ยและความแปรปรวนเหนือสิ่งใด
โดยแบ่งช่องสัญญาณออกเป็นกลุ่มและทำให้แต่ละกลุ่มเป็นมาตรฐานโดยใช้เฉพาะค่าของตัวอย่างเดียวและตำแหน่งเชิงพื้นที่ โดยไม่สนใจส่วนที่เหลือของชุดงาน
Group Normalization กลายเป็น Layer Normalization ในกรณีพิเศษใด?
ด้วยกลุ่มเดียว ทุกช่องสัญญาณจะถูกทำให้เป็นมาตรฐานร่วมกันตามตัวอย่าง ซึ่งก็คือ Layer Normalization
Group Normalization กลายเป็น Instance Normalization ในกรณีพิเศษใด?
หากทุกกลุ่มมีแชนเนลเดียว แต่ละแชนเนลจะถูกทำให้เป็นมาตรฐานในตัวของมันเองตามตัวอย่าง ซึ่งก็คือ Instance Normalization
หลังจากทำให้เป็นมาตรฐานแล้ว Group Norm จะนำไปใช้เพื่อคืนความยืดหยุ่นในการนำเสนออย่างไร
เช่นเดียวกับเลเยอร์การทำให้เป็นมาตรฐานอื่นๆ Group Norm ได้รวมมาตราส่วนที่สามารถเรียนรู้ได้และพารามิเตอร์การเปลี่ยนแปลง เพื่อให้เครือข่ายสามารถยกเลิกหรือปรับการทำให้เป็นมาตรฐานได้ตามต้องการ