คู่มือพื้นฐาน

การทำให้เป็นมาตรฐานของกลุ่ม

การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการทำให้กลุ่มเป็นมาตรฐาน
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

It matters because, unlike Batch Normalization, it works well even when batches are tiny.

เจาะลึก

เลเยอร์การทำให้เป็นมาตรฐานจะรักษาตัวเลขที่ไหลผ่านเครือข่ายที่มีขนาดที่ดี ซึ่งจะช่วยเร่งความเร็วและทำให้การฝึกอบรมมีความเสถียร การทำให้เป็นมาตรฐานแบบแบทช์ทำได้โดยการคำนวณค่าเฉลี่ยและความแปรปรวนของแต่ละคุณลักษณะในมินิแบทช์ทั้งหมด แต่นั่นจะทำให้เปราะบางเมื่อแบทช์มีขนาดเล็ก เนื่องจากสถิติจะมีสัญญาณรบกวนและไม่น่าเชื่อถือ การทำให้เป็นมาตรฐานของกลุ่มซึ่งแนะนำโดย Wu และ He ในปี 2018 จะลบแบทช์ออกจากสมการทั้งหมด สำหรับแต่ละตัวอย่าง จะแบ่งช่องออกเป็นกลุ่มตามจำนวนที่กำหนด จากนั้นทำให้แต่ละกลุ่มเป็นมาตรฐานโดยใช้เฉพาะค่าของตัวอย่างนั้นเท่านั้น เนื่องจากการคำนวณไม่เคยขึ้นอยู่กับตัวอย่างอื่นๆ ในชุด ประสิทธิภาพจึงคงที่ไม่ว่าชุดนั้นจะเก็บภาพได้ 32 ภาพหรือเพียงภาพเดียว ทำให้เป็นที่นิยมในการตรวจจับ การแบ่งส่วน และงานการมองเห็นที่ต้องใช้หน่วยความจำมาก

การใช้งานจริงในโลกแห่งความเป็นจริง

การตรวจจับออบเจ็กต์และการแบ่งส่วนอินสแตนซ์ (เช่น โมเดลสไตล์ Mask R-CNN) ที่ได้รับการฝึกโดยใช้แบตช์ต่อ GPU ที่น้อยมาก

แกนหลัก U-Net ภายในเครื่องกำเนิดภาพแบบกระจาย โดยที่ Group Norm จะรักษาระดับฟีเจอร์ให้คงที่

เครือข่าย 3 มิติและวิดีโอที่ใช้หน่วยความจำสูงบังคับให้ขนาดแบตช์ลดลงเหลือหนึ่งหรือสองขนาด

การปรับแต่งโมเดลวิชันซิสเต็มขนาดใหญ่บนฮาร์ดแวร์ที่มีข้อจำกัด โดยที่แบทช์ขนาดเล็กทำให้สถิติ Batch Norm ไม่น่าเชื่อถือ

อนาคตของการทำให้กลุ่มเป็นมาตรฐาน

การทำให้เป็นมาตรฐานแบบกลุ่มยังคงเป็นตัวเลือกที่เลือกใช้ในทุกที่ที่แบทช์ต้องมีขนาดเล็ก เช่น การตรวจจับและการแบ่งส่วนความละเอียดสูง โมเดล 3 มิติและวิดีโอ และการฝึกอบรมที่จำกัดหน่วยความจำ มันยังฝังอยู่ในสถาปัตยกรรมกำเนิดที่ใช้กันอย่างแพร่หลาย เช่น U-Nets ภายในโมเดลการแพร่กระจาย เมื่อโมเดลเติบโตขึ้นและความกดดันของหน่วยความจำทำให้ขนาดแบตช์ลดลง ตัวนอร์มัลไลเซอร์ที่ไม่ขึ้นกับแบตช์ ซึ่งได้แก่ Group Norm ควบคู่ไปกับ Layer Norm มีแนวโน้มที่จะยังคงเป็นบล็อคเริ่มต้น โดยมีการวิจัยอย่างต่อเนื่องเกี่ยวกับไฮบริดและทางเลือกอื่นที่ปราศจากการทำให้เป็นมาตรฐาน

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
  • ต้นทุนและงบประมาณ. คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
  • ทีมงานและขั้นตอนการทำงาน. ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ระวัง

  • แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
  • เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
  • การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

ขั้นตอนต่อไป

  1. เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
  2. เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
  3. ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
  4. เอกสารที่ Group Normalization ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Group Normalization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Group Normalization?

การทำให้เป็นมาตรฐานแบบกลุ่มเป็นเทคนิคที่ทำให้การฝึกโครงข่ายประสาทเทียมมีความเสถียรโดยการปรับคุณสมบัติให้เป็นปกติภายในกลุ่มช่องสัญญาณขนาดเล็ก โดยแยกจากกันสำหรับแต่ละตัวอย่าง เป็นเรื่องสำคัญเนื่องจากไม่เหมือนกับ Batch Normalization ตรงที่ทำงานได้ดีแม้ในขณะที่แบตช์มีขนาดเล็กก็ตาม

Across what dimensions does Group Normalization compute statistics?

The guide says GN normalizes groups of channels within each example.

Why can GroupNorm be preferable to BatchNorm for very small batches?

The paper emphasizes stable behavior at small batch sizes because computation does not rely on batch statistics.

What does GroupNorm’s independence from batch size mean?

The paper’s computation uses within-example group statistics, independent of batch size.

Which GroupNorm setting corresponds to one group containing all channels?

The guide states that one group reduces the scheme to LayerNorm.

Which GroupNorm setting corresponds to one channel per group?

The guide says one channel per group corresponds to InstanceNorm.

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →