คู่มือทางเทคนิค

การเริ่มต้นน้ำหนัก

วิธีที่คุณกำหนดน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียมก่อนเริ่มการฝึก ซึ่งจะเป็นตัวกำหนดว่าสัญญาณและการไล่ระดับสีจะคงสภาพที่ดีผ่านเลเยอร์ที่ลึกหรือไม่

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเริ่มต้นตุ้มน้ำหนัก
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

Good initialization is the difference between fast convergence and a model that never learns.

เจาะลึก

ก่อนการฝึก ทุกน้ำหนักต้องมีค่าเริ่มต้น การตั้งค่าทั้งหมดให้เป็นศูนย์นั้นเป็นอันตรายถึงชีวิต: น้ำหนักที่เท่ากันทำให้เกิดการไล่ระดับสีที่เหมือนกัน ดังนั้นเซลล์ประสาทจึงไม่เคยแยกความแตกต่าง นี่คือปัญหาการทำลายความสมมาตร การเริ่มต้นแบบสุ่มจะทำลายความสมมาตร แต่ขนาดมีความสำคัญอย่างมาก ใหญ่เกินไปและการเปิดใช้งานและการไล่ระดับสีจะระเบิด เล็กเกินไปแล้วก็หายไป รูปแบบหลักการจะเลือกความแปรปรวนตามขนาดเลเยอร์เพื่อรักษาความแปรปรวนของสัญญาณให้คงที่โดยประมาณทั่วทั้งเลเยอร์ การเริ่มต้น Xavier (Glorot) จะปรับขนาดความแปรปรวนตามจำนวนหน่วยอินพุตบวกเอาต์พุต และเหมาะสมกับเครือข่าย Tanh และ sigmoid การกำหนดค่าเริ่มต้นของ He (Kaiming) จะปรับขนาดตามจำนวนอินพุตและบัญชีสำหรับ ReLU ทิ้งอินพุตครึ่งหนึ่ง ทำให้เป็นมาตรฐานสำหรับ deep nets และ CNN ที่ใช้ ReLU การเริ่มต้นที่ดีจะทำให้การฝึกอบรมในช่วงเริ่มต้นมีความเสถียรจนกว่าการทำให้เป็นมาตรฐานและเครื่องมือเพิ่มประสิทธิภาพแบบปรับตัวจะเข้ามาแทนที่

การใช้งานจริงในโลกแห่งความเป็นจริง

CNN ที่ใช้การเปิดใช้งาน ReLU จะเริ่มต้นได้ด้วยการเริ่มต้น He ดังนั้นสแต็กการบิดแบบลึกจึงฝึกโดยไม่มีสัญญาณหายไป

เครือข่ายที่มีการเปิดใช้งาน Tanh ใช้การเริ่มต้น Xavier เพื่อรักษาความแปรปรวนในการเปิดใช้งานให้คงที่ในทุกเลเยอร์

วิศวกรที่เริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์โดยไม่ตั้งใจ พบว่าเครือข่ายล้มเหลวในการเรียนรู้ เนื่องจากเซลล์ประสาททุกอันยังคงเหมือนเดิม

ค่าเริ่มต้นของเฟรมเวิร์ก (Kaiming ของ PyTorch, เครื่องแบบ Glorot ของ Keras) จะใช้การเริ่มต้นตามหลักการโดยอัตโนมัติเมื่อสร้างเลเยอร์

อนาคตของการเริ่มต้นตุ้มน้ำหนัก

ชั้นการทำให้เป็นมาตรฐานและการเชื่อมต่อที่เหลือทำให้การฝึกอบรมค่อนข้างอ่อนไหวต่อการเริ่มต้นที่แน่นอน แต่ก็ยังมีความสำคัญสำหรับเครือข่ายที่ลึกมากหรือไม่มีการทำให้เป็นมาตรฐาน การวิจัยเชิงรุกประกอบด้วยโครงร่างที่ปรับให้เหมาะกับหม้อแปลงและความสนใจ วิธีการที่ช่วยให้เครือข่ายฝึกได้โดยไม่ต้องมีเลเยอร์การทำให้เป็นมาตรฐาน และทฤษฎี เช่น ไดนามิกส์ไอโซเมทรีและเคอร์เนลแทนเจนต์ของระบบประสาทที่คาดการณ์ความสามารถในการฝึกจากการเริ่มต้นเพียงอย่างเดียว การเริ่มต้นโดยอาศัยข้อมูล ซึ่งปรับเทียบเครื่องชั่งจากชุดตัวอย่าง ถือเป็นอีกทิศทางหนึ่งที่กำลังเติบโต

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Weight Initialization quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

What is Weight Initialization?

วิธีที่คุณกำหนดน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียมก่อนเริ่มการฝึก ซึ่งจะเป็นตัวกำหนดว่าสัญญาณและการไล่ระดับสีจะคงสภาพที่ดีผ่านเลเยอร์ที่ลึกหรือไม่ การเริ่มต้นที่ดีคือความแตกต่างระหว่างการบรรจบกันอย่างรวดเร็วและแบบจำลองที่ไม่เคยเรียนรู้

เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง

ด้วยน้ำหนักที่เท่ากัน เซลล์ประสาททุกตัวจะคำนวณเอาท์พุตและการไล่ระดับสีที่เหมือนกัน ดังนั้นพวกมันจึงอัปเดตเหมือนกัน และเลเยอร์จะไม่สามารถเรียนรู้คุณสมบัติที่แตกต่างกันได้

การเริ่มต้น He (Kaiming) ได้รับการออกแบบมาโดยเฉพาะสำหรับฟังก์ชันการเปิดใช้งานใด

การเริ่มต้นจะปรับขนาดความแปรปรวน 2 / fan_in เพื่อชดเชย ReLU ที่ทำให้อินพุตประมาณครึ่งหนึ่งเป็นศูนย์

เป้าหมายหลักของแผนการเริ่มต้นน้ำหนักตามหลักการคืออะไร

แผนเช่น Xavier และ He เลือกความแปรปรวนของน้ำหนักจากขนาดเลเยอร์ ดังนั้นสัญญาณจะไม่หายไปหรือระเบิดในขณะที่พวกมันแพร่กระจาย

การเริ่มต้น Xavier (Glorot) เหมาะที่สุดสำหรับเครือข่ายที่ใช้การเปิดใช้งานใด

Xavier ปรับสมดุลความแปรปรวนไปข้างหน้าและข้างหลังสำหรับการเปิดใช้งานที่สมมาตรและอิ่มตัว เช่น Tanh และ sigmoid

เหตุใดการเริ่มต้นเขาจึงใช้ความแปรปรวนของ 2 / fan_in มากกว่า 1 / fan_in

ReLU ส่งผ่านอินพุตเชิงบวกเท่านั้น โดยทิ้งสัญญาณไปประมาณครึ่งหนึ่ง ดังนั้นการเพิ่มความแปรปรวนเป็นสองเท่าจะคืนค่าความแปรปรวนการเปิดใช้งานที่คาดไว้

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →