ต่อไปคำแนะนำต่อไป
การอนุมานแบบแบตช์เทียบกับการอนุมานแบบเรียลไทม์
เทคนิค
คู่มือทางเทคนิค
การทำให้เป็นมาตรฐานแบบแบตช์เป็นเทคนิคที่จะปรับขนาดอินพุตใหม่ให้กับแต่ละเลเยอร์ของโครงข่ายประสาทเทียมระหว่างการฝึก ทำให้การฝึกเครือข่ายเชิงลึกเร็วขึ้นและเชื่อถือได้มากขึ้น
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
มันกลายเป็นหนึ่งในเทคนิคที่ใช้กันอย่างแพร่หลายในการเรียนรู้เชิงลึก
เมื่อข้อมูลไหลผ่านเครือข่ายระดับลึก การกระจายค่าที่ป้อนแต่ละเลเยอร์จะเปลี่ยนแปลงไปเรื่อยๆ เนื่องจากการอัปเดตเลเยอร์ก่อนหน้า ซึ่งจะทำให้การฝึกช้าลงและไม่เสถียร การทำให้เป็นมาตรฐานแบบแบทช์ซึ่งแนะนำโดย Ioffe และ Szegedy ในปี 2558 แก้ไขปัญหานี้ด้วยการปรับอินพุตของแต่ละเลเยอร์ให้เป็นมาตรฐานในมินิแบทช์ปัจจุบัน เพื่อให้มีค่าเฉลี่ยและความแปรปรวนของหน่วยเป็นศูนย์โดยประมาณ จากนั้นจะใช้พารามิเตอร์ที่เรียนรู้ได้สองตัว ได้แก่ แกมมาและเบต้า ซึ่งจะทำให้เครือข่ายปรับขนาดและเปลี่ยนค่ามาตรฐานกลับไปได้หากช่วยได้ จึงไม่สูญเสียประสิทธิภาพในการนำเสนอ ผลตอบแทนที่ได้มีมาก: เครือข่ายทนต่ออัตราการเรียนรู้ที่สูงขึ้น บรรจบกันในยุคที่น้อยลง มีความไวต่อการเริ่มต้นน้ำหนักน้อยลง และมักจะสรุปได้ดีขึ้นเล็กน้อย สิ่งที่พบได้คือพฤติกรรมนั้นขึ้นอยู่กับสถิติของแบทช์ ดังนั้นแบทช์ที่น้อยมากอาจทำให้ไม่เสถียรได้
การแทรกเลเยอร์บรรทัดฐานแบบกลุ่มในตัวแยกประเภทรูปภาพ ResNet เพื่อให้สามารถฝึกฝนด้วยอัตราการเรียนรู้ที่สูงขึ้นและมาบรรจบกันในยุคที่น้อยลงมาก
ทำให้การฝึกอบรมเครือข่ายเชิงลึกมีความเสถียรสำหรับการสร้างภาพทางการแพทย์ที่ก่อนหน้านี้แยกจากกันโดยไม่มีการทำให้เป็นมาตรฐาน
ลดความไวต่อการเริ่มต้นน้ำหนักใน CNN แบบกำหนดเอง ดังนั้นวิศวกรจึงใช้เวลาน้อยลงในการปรับแต่งค่าเริ่มต้นด้วยมือ
การเปลี่ยนจากสถิติแบตช์ในโหมดการฝึกไปเป็นค่าเฉลี่ยรันที่เก็บไว้เมื่อปรับใช้โมเดล เพื่อให้การคาดการณ์แบบภาพเดียวมีความสอดคล้องกัน
การทำให้เป็นมาตรฐานแบบแบตช์ยังคงเป็นเครื่องมือสำคัญในโมเดลการมองเห็นแบบหมุนวน แต่การพึ่งพาสถิติแบบแบตช์นั้นไม่สะดวกสำหรับเครือข่ายที่เกิดซ้ำ แบตช์ขนาดเล็ก และการฝึกอบรมแบบกระจาย สิ่งนี้ได้ผลักดันให้เกิดการนำทางเลือกอื่นมาใช้ เช่น การทำให้เลเยอร์เป็นมาตรฐาน ซึ่งทำให้คุณสมบัติต่างๆ เป็นมาตรฐานภายในตัวอย่างเดียว และตอนนี้ครอบงำสถาปัตยกรรมหม้อแปลงไฟฟ้า บวกกับการทำให้เป็นมาตรฐานของกลุ่มและอินสแตนซ์สำหรับโดเมนที่เฉพาะเจาะจง การวิจัยยังคงดำเนินต่อไปเกี่ยวกับเครือข่ายที่ปราศจากการปรับมาตรฐานซึ่งตรงกับคุณประโยชน์ผ่านการเริ่มต้นและการปรับขนาดอย่างระมัดระวัง คาดหวังว่าการทำให้เป็นมาตรฐานจะยังคงมีความสำคัญ โดยเลือกตัวแปรเฉพาะให้เหมาะกับสถาปัตยกรรม
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การทำให้เป็นมาตรฐานแบบแบตช์เป็นเทคนิคที่จะปรับขนาดอินพุตใหม่ให้กับแต่ละเลเยอร์ของโครงข่ายประสาทเทียมระหว่างการฝึก ทำให้การฝึกเครือข่ายเชิงลึกเร็วขึ้นและเชื่อถือได้มากขึ้น มันกลายเป็นหนึ่งในเทคนิคที่ใช้กันอย่างแพร่หลายในการเรียนรู้เชิงลึก
บรรทัดฐานของแบทช์จะสร้างมาตรฐานอินพุตของเลเยอร์โดยใช้ค่าเฉลี่ยและความแปรปรวนที่คำนวณจากมินิแบทช์ปัจจุบัน ทำให้การเปิดใช้งานอยู่ในช่วงที่เสถียรในขณะที่การฝึกอบรมดำเนินไป
หลังจากทำให้ค่าเฉลี่ยเป็นศูนย์และความแปรปรวนของหน่วยแล้ว แกมมาและเบต้าปล่อยให้เครือข่ายปรับขนาดใหม่และเปลี่ยนค่าใหม่หากเป็นประโยชน์ ดังนั้นการทำให้เป็นมาตรฐานไม่ได้จำกัดสิ่งที่เลเยอร์สามารถแสดงได้
ด้วยการรักษาอินพุตเลเยอร์ที่มีขนาดที่เหมาะสม บรรทัดฐานของแบทช์ช่วยให้เครือข่ายฝึกฝนด้วยอัตราการเรียนรู้ที่มากขึ้น บรรจบกันเร็วขึ้น และมีความไวต่อการเริ่มต้นน้อยลง
การใช้สถิติแบตช์ที่ใช้งานจริงในการอนุมานจะทำให้การคาดการณ์ขึ้นอยู่กับตัวอย่างอื่นๆ ที่ใช้แบตช์ร่วมกัน แต่บรรทัดฐานของแบทช์จะใช้ค่าเฉลี่ยการทำงานคงที่ที่เก็บไว้ระหว่างการฝึกแทน
บรรทัดฐานของแบทช์ขึ้นอยู่กับการประมาณค่าเฉลี่ยและความแปรปรวนจากแบทช์ ด้วยตัวอย่างเพียงเล็กน้อย การประมาณการเหล่านี้มีเสียงรบกวน ซึ่งอาจส่งผลต่อการฝึกอบรมได้
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การอนุมานแบบแบตช์เทียบกับการอนุมานแบบเรียลไทม์
เทคนิค