คู่มือทางเทคนิค
การเริ่มต้นน้ำหนัก
วิธีที่คุณกำหนดน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียมก่อนเริ่มการฝึก ซึ่งจะเป็นตัวกำหนดว่าสัญญาณและการไล่ระดับสีจะคงสภาพที่ดีผ่านเลเยอร์ที่ลึกหรือไม่
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
Good initialization is the difference between fast convergence and a model that never learns.
เจาะลึก
ก่อนการฝึก ทุกน้ำหนักต้องมีค่าเริ่มต้น การตั้งค่าทั้งหมดให้เป็นศูนย์นั้นเป็นอันตรายถึงชีวิต: น้ำหนักที่เท่ากันทำให้เกิดการไล่ระดับสีที่เหมือนกัน ดังนั้นเซลล์ประสาทจึงไม่เคยแยกความแตกต่าง นี่คือปัญหาการทำลายความสมมาตร การเริ่มต้นแบบสุ่มจะทำลายความสมมาตร แต่ขนาดมีความสำคัญอย่างมาก ใหญ่เกินไปและการเปิดใช้งานและการไล่ระดับสีจะระเบิด เล็กเกินไปแล้วก็หายไป รูปแบบหลักการจะเลือกความแปรปรวนตามขนาดเลเยอร์เพื่อรักษาความแปรปรวนของสัญญาณให้คงที่โดยประมาณทั่วทั้งเลเยอร์ การเริ่มต้น Xavier (Glorot) จะปรับขนาดความแปรปรวนตามจำนวนหน่วยอินพุตบวกเอาต์พุต และเหมาะสมกับเครือข่าย Tanh และ sigmoid การกำหนดค่าเริ่มต้นของ He (Kaiming) จะปรับขนาดตามจำนวนอินพุตและบัญชีสำหรับ ReLU ทิ้งอินพุตครึ่งหนึ่ง ทำให้เป็นมาตรฐานสำหรับ deep nets และ CNN ที่ใช้ ReLU การเริ่มต้นที่ดีจะทำให้การฝึกอบรมในช่วงเริ่มต้นมีความเสถียรจนกว่าการทำให้เป็นมาตรฐานและเครื่องมือเพิ่มประสิทธิภาพแบบปรับตัวจะเข้ามาแทนที่
การใช้งานจริงในโลกแห่งความเป็นจริง
CNN ที่ใช้การเปิดใช้งาน ReLU จะเริ่มต้นได้ด้วยการเริ่มต้น He ดังนั้นสแต็กการบิดแบบลึกจึงฝึกโดยไม่มีสัญญาณหายไป
เครือข่ายที่มีการเปิดใช้งาน Tanh ใช้การเริ่มต้น Xavier เพื่อรักษาความแปรปรวนในการเปิดใช้งานให้คงที่ในทุกเลเยอร์
วิศวกรที่เริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์โดยไม่ตั้งใจ พบว่าเครือข่ายล้มเหลวในการเรียนรู้ เนื่องจากเซลล์ประสาททุกอันยังคงเหมือนเดิม
ค่าเริ่มต้นของเฟรมเวิร์ก (Kaiming ของ PyTorch, เครื่องแบบ Glorot ของ Keras) จะใช้การเริ่มต้นตามหลักการโดยอัตโนมัติเมื่อสร้างเลเยอร์
อนาคตของการเริ่มต้นตุ้มน้ำหนัก
ชั้นการทำให้เป็นมาตรฐานและการเชื่อมต่อที่เหลือทำให้การฝึกอบรมค่อนข้างอ่อนไหวต่อการเริ่มต้นที่แน่นอน แต่ก็ยังมีความสำคัญสำหรับเครือข่ายที่ลึกมากหรือไม่มีการทำให้เป็นมาตรฐาน การวิจัยเชิงรุกประกอบด้วยโครงร่างที่ปรับให้เหมาะกับหม้อแปลงและความสนใจ วิธีการที่ช่วยให้เครือข่ายฝึกได้โดยไม่ต้องมีเลเยอร์การทำให้เป็นมาตรฐาน และทฤษฎี เช่น ไดนามิกส์ไอโซเมทรีและเคอร์เนลแทนเจนต์ของระบบประสาทที่คาดการณ์ความสามารถในการฝึกจากการเริ่มต้นเพียงอย่างเดียว การเริ่มต้นโดยอาศัยข้อมูล ซึ่งปรับเทียบเครื่องชั่งจากชุดตัวอย่าง ถือเป็นอีกทิศทางหนึ่งที่กำลังเติบโต
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Weight Initialization quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Weight Initialization?
วิธีที่คุณกำหนดน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียมก่อนเริ่มการฝึก ซึ่งจะเป็นตัวกำหนดว่าสัญญาณและการไล่ระดับสีจะคงสภาพที่ดีผ่านเลเยอร์ที่ลึกหรือไม่ การเริ่มต้นที่ดีคือความแตกต่างระหว่างการบรรจบกันอย่างรวดเร็วและแบบจำลองที่ไม่เคยเรียนรู้
เหตุใดการเริ่มต้นน้ำหนักทั้งหมดให้เป็นศูนย์จึงเป็นข้อผิดพลาดร้ายแรง
ด้วยน้ำหนักที่เท่ากัน เซลล์ประสาททุกตัวจะคำนวณเอาท์พุตและการไล่ระดับสีที่เหมือนกัน ดังนั้นพวกมันจึงอัปเดตเหมือนกัน และเลเยอร์จะไม่สามารถเรียนรู้คุณสมบัติที่แตกต่างกันได้
การเริ่มต้น He (Kaiming) ได้รับการออกแบบมาโดยเฉพาะสำหรับฟังก์ชันการเปิดใช้งานใด
การเริ่มต้นจะปรับขนาดความแปรปรวน 2 / fan_in เพื่อชดเชย ReLU ที่ทำให้อินพุตประมาณครึ่งหนึ่งเป็นศูนย์
เป้าหมายหลักของแผนการเริ่มต้นน้ำหนักตามหลักการคืออะไร
แผนเช่น Xavier และ He เลือกความแปรปรวนของน้ำหนักจากขนาดเลเยอร์ ดังนั้นสัญญาณจะไม่หายไปหรือระเบิดในขณะที่พวกมันแพร่กระจาย
การเริ่มต้น Xavier (Glorot) เหมาะที่สุดสำหรับเครือข่ายที่ใช้การเปิดใช้งานใด
Xavier ปรับสมดุลความแปรปรวนไปข้างหน้าและข้างหลังสำหรับการเปิดใช้งานที่สมมาตรและอิ่มตัว เช่น Tanh และ sigmoid
เหตุใดการเริ่มต้นเขาจึงใช้ความแปรปรวนของ 2 / fan_in มากกว่า 1 / fan_in
ReLU ส่งผ่านอินพุตเชิงบวกเท่านั้น โดยทิ้งสัญญาณไปประมาณครึ่งหนึ่ง ดังนั้นการเพิ่มความแปรปรวนเป็นสองเท่าจะคืนค่าความแปรปรวนการเปิดใช้งานที่คาดไว้
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้