เครือข่ายบีบและกระตุ้น
บล็อก Squeeze-and-Excitation (SE) ช่วยให้เครือข่ายแบบหมุนวนเรียนรู้ว่าต้องชั่งน้ำหนักแต่ละช่องสัญญาณมากน้อยเพียงใด และปรับเทียบใหม่ตามบริบททั่วโลก
ภาพรวม
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
เจาะลึก
บล็อก SE เปิดตัวโดย Hu, Shen และ Sun ในปี 2560 เพิ่มความน่าสนใจให้กับช่อง CNN อย่างชัดเจน มันทำงานในสองขั้นตอน การ 'บีบ' ใช้การรวมค่าเฉลี่ยทั่วโลกเพื่อยุบแผนผังคุณลักษณะแต่ละรายการ (สูง x กว้าง) ให้เป็นตัวเลขเดียว โดยสร้างคำอธิบายหนึ่งรายการต่อช่องสัญญาณที่สรุปการเปิดใช้งานทั่วโลก 'การกระตุ้น' จะป้อนเวกเตอร์นั้นผ่านเลเยอร์เล็กๆ สองชั้นที่เชื่อมต่อกันอย่างสมบูรณ์โดยมีปัญหาคอขวด (ReLU จากนั้นเป็นซิกมอยด์) เพื่อสร้างน้ำหนักต่อแชนเนลระหว่าง 0 ถึง 1 น้ำหนักเหล่านั้นจะคูณแผนผังคุณลักษณะดั้งเดิม ขยายแชนเนลที่มีประโยชน์และลดค่าที่ไม่เกี่ยวข้อง SENet ชนะการแข่งขัน ILSVRC 2017 โดยลดข้อผิดพลาด 5 อันดับแรกเหลือประมาณ 2.25% บล็อกนี้เพิ่มพารามิเตอร์และการคำนวณพิเศษเพียงไม่กี่เปอร์เซ็นต์ และสล็อตใน ResNet, Inception หรือ MobileNet โดยมีการเปลี่ยนแปลงเพียงเล็กน้อย
ข้อมูลเชิงลึกทางเทคนิค
การบีบจะสร้างเวกเตอร์ความยาว C โดยที่ z_c คือค่าเฉลี่ยเชิงพื้นที่ของช่อง c การคำนวณการกระตุ้น s = sigmoid(W2 * ReLU(W1 * z)) โดยที่ W1 ลดขนาดลงด้วยอัตราส่วนการลด r (โดยทั่วไปคือ 16) และ W2 จะคืนค่า ทำให้ต้นทุนเพิ่มมีขนาดเล็ก เอาต์พุตคือแผนผังคุณลักษณะอินพุตที่ปรับขนาดช่องสัญญาณตาม s มันเป็นรูปแบบหนึ่งของการป้องกันตัวเอง: เครือข่ายจะตัดสินใจจากสถิติทั่วโลกว่าช่องใดมีความสำคัญสำหรับอินพุตเฉพาะนี้
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของเครือข่ายบีบและกระตุ้น
บล็อก SE อาศัยอยู่บนสถาปัตยกรรมที่มีประสิทธิภาพภายใน: EfficientNet และ MobileNetV3 ฝังไว้ในบล็อกสำเร็จรูป แนวคิดนี้ก่อให้เกิดกลุ่มโมดูลความสนใจ, CBAM เพิ่มความสนใจเชิงพื้นที่, ECA-Net แทนที่ปัญหาคอขวดด้วยการบิดแบบ 1D ราคาถูก และเทคนิคการปรับเทียบใหม่แบบน้ำหนักเบาเหล่านี้ปรากฏในการตรวจจับ การแบ่งส่วน และแม้แต่ลูกผสมของตัวแปลงการมองเห็น คาดหวังว่าความสนใจของช่องจะยังคงเป็นกลไกที่มีความแม่นยำราคาประหยัดไม่ว่าจะยังคงมีการบิดเบี้ยวอยู่หรือไม่ก็ตาม
การใช้งานจริงในโลกแห่งความเป็นจริง
SENet ชนะการแข่งขัน ImageNet ILSVRC 2017 โดยการเพิ่มบล็อก SE ให้กับแกนหลัก ResNeXt
EfficientNet และ MobileNetV3 ฝังโมดูล SE ไว้ในทุกบล็อกเพื่อเพิ่มความแม่นยำบนอุปกรณ์เคลื่อนที่
ตัวตรวจจับวัตถุและแบบจำลองการแบ่งส่วนจะแทรกบล็อก SE เพื่อเน้นช่องคุณลักษณะที่ให้ข้อมูล
ECA-Net และ CBAM ขยายแนวคิด SE ด้วยการปรับเทียบช่องสัญญาณที่ถูกกว่าหรือการรับรู้เชิงพื้นที่
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
แคปซูล เน็ตเวิร์คส์
คำถามที่พบบ่อย
What is Squeeze-and-Excitation Networks?
บล็อก Squeeze-and-Excitation (SE) ช่วยให้เครือข่ายแบบหมุนวนเรียนรู้ว่าต้องชั่งน้ำหนักแต่ละช่องสัญญาณมากน้อยเพียงใด และปรับเทียบใหม่ตามบริบททั่วโลก กลไกที่เหมือนดึงดูดความสนใจราคาถูกนี้ชนะการแข่งขัน ImageNet ปี 2017 และกลายเป็นองค์ประกอบมาตรฐานของ CNN
ขั้นตอน 'บีบ' ในบล็อก SE ทำหน้าที่อะไร
การบีบใช้การรวมกลุ่มโดยเฉลี่ยทั่วโลก โดยยุบแต่ละแผนผังคุณลักษณะให้เป็นคำอธิบายเดียวต่อช่องสัญญาณ
ขั้นตอน 'การกระตุ้น' จะให้ผลลัพธ์อย่างไร
การกระตุ้นจะส่งผ่านเวกเตอร์ที่ถูกบีบผ่านชั้น FC สองชั้นที่สิ้นสุดด้วยซิกมอยด์ ซึ่งให้น้ำหนักตามมาตราส่วนต่อช่องสัญญาณ
น้ำหนักการกระตุ้นนำไปใช้กับแผนผังฟีเจอร์ดั้งเดิมอย่างไร
แผนผังคุณลักษณะของแต่ละช่องจะคูณด้วยน้ำหนักที่เรียนรู้ ซึ่งจะขยายหรือระงับช่องนั้น
เหตุใดการกระตุ้นจึงใช้คอขวดที่มีอัตราส่วนการลดลง (มักเป็น 16)
คอขวดจะหดตัวจากนั้นจึงคืนขนาดช่อง ดังนั้นบล็อก SE จึงมีต้นทุนเพิ่มเพียงไม่กี่เปอร์เซ็นต์
SENet ชนะการแข่งขันใดในปี 2560
SENet ชนะการแข่งขันการจัดหมวดหมู่รูปภาพ ILSVRC 2017 โดยดันข้อผิดพลาด 5 อันดับแรกไปที่ประมาณ 2.25%