แคปซูล เน็ตเวิร์คส์
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด)
ภาพรวม
They aim to fix a core blindness in standard convolutional networks: losing track of spatial relationships between parts.
เจาะลึก
เสนอโดย Geoffrey Hinton, Sara Sabour และ Nicholas Frosst ในปี 2560 เครือข่ายแคปซูลแทนที่เอาท์พุตของเซลล์ประสาทสเกลาร์ด้วยเวกเตอร์ ความยาวของเวกเตอร์แสดงถึงความน่าจะเป็นที่เอนทิตี (เช่น ตาหรือจมูก) มีอยู่ ในขณะที่การวางแนวของเวกเตอร์จะเข้ารหัสพารามิเตอร์ที่ก่อให้เกิด แคปซูลระดับล่างทำนายตำแหน่งของแคปซูลระดับสูงกว่าผ่านเมทริกซ์การแปลง และกระบวนการที่เรียกว่าการกำหนดเส้นทางแบบไดนามิกตามข้อตกลงจะตัดสินว่าการคาดการณ์ใดเชื่อถือได้ เมื่อชิ้นส่วนแคปซูลหลายชิ้นสอดคล้องกันในสิ่งเดียวกัน การกำหนดเส้นทางจะเสริมความแข็งแกร่งให้กับการเชื่อมต่อนั้น CapsNet ดั้งเดิมได้รับผลลัพธ์ที่ยอดเยี่ยมใน MNIST และมีความโดดเด่นในเรื่องตัวเลขที่ทับซ้อนกันและการแปลงความสัมพันธ์ โดยจัดการกับ 'ปัญหา Picasso' ที่ CNN ยอมรับลักษณะใบหน้าที่สับสนว่าเป็นใบหน้าที่ถูกต้อง
ข้อมูลเชิงลึกทางเทคนิค
กลไกสำคัญคือความไม่เชิงเส้นแบบ 'สควอช' ที่จะย่อเวกเตอร์ขนาดสั้นให้เหลือศูนย์ และเวกเตอร์ที่ยาวไปทางความยาวหนึ่ง ดังนั้น ขนาดเวกเตอร์จึงอ่านว่ามีความน่าจะเป็น จากนั้นการกำหนดเส้นทางแบบไดนามิกจะวนซ้ำสองสามครั้งของขั้นตอนข้อตกลงแบบ softmax-weighted: แต่ละแคปซูลที่ต่ำกว่าจะส่งการทำนายขึ้น และค่าสัมประสิทธิ์การเชื่อมต่อจะเพิ่มขึ้นสำหรับแคปซูลที่สูงกว่าซึ่งมีการจัดตำแหน่งเอาต์พุต (ผ่านผลิตภัณฑ์ดอท) กับการคาดการณ์นั้น สิ่งนี้จะเข้ามาแทนที่การรวมกลุ่มสูงสุด โดยรักษาข้อมูลเชิงพื้นที่ที่แม่นยำแทนที่จะละทิ้ง
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของเครือข่ายแคปซูล
เครือข่ายแคปซูลยังคงเป็นทิศทางการวิจัยมากกว่ามาตรฐานที่ใช้งาน ส่วนใหญ่เป็นเพราะการกำหนดเส้นทางแบบไดนามิกมีราคาแพงในการคำนวณและปรับขนาดได้ไม่ดีสำหรับรูปภาพขนาดใหญ่เช่น ImageNet งานต่อมาได้สำรวจการกำหนดเส้นทาง EM (Matrix Capsules) และการกำหนดเส้นทางโดยคำนึงถึงตนเองเพื่อปรับปรุงประสิทธิภาพ เนื่องจากความสนใจในความเท่าเทียมกัน ประสิทธิภาพของตัวอย่าง และลำดับชั้นทั้งส่วนที่ตีความได้เพิ่มขึ้น แนวคิดแบบแคปซูลยังคงมีอิทธิพลต่อการวิจัย รวมถึงข้อเสนอ GLOM ในภายหลังของฮินตัน แม้ว่า Transformers จะครองวิสัยทัศน์กระแสหลักก็ตาม
การใช้งานจริงในโลกแห่งความเป็นจริง
การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตใหม่จากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย
การแยกตัวเลขสองหลักที่ทับซ้อนกัน (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด
การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมอง ซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ
การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมน้อยลง โดยใช้ประโยชน์จากความเท่าเทียมกันของมุมมองในตัวของสถาปัตยกรรม
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Capsule Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
เครือข่ายทางหลวงและการข้ามการเชื่อมต่อ
คำถามที่พบบ่อย
What is Capsule Networks?
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด) พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ
ในเครือข่ายแคปซูล LENGTH ของเวกเตอร์เอาท์พุตของแคปซูลแสดงถึงอะไร
ความยาวของเวกเตอร์ (ขนาด) เข้ารหัสความน่าจะเป็นที่เอนทิตีมีอยู่ ในขณะที่การวางแนวของเวกเตอร์เข้ารหัสก่อให้เกิดพารามิเตอร์ เช่น ตำแหน่งและการหมุน
ปัญหาอะไรกับ CNN มาตรฐานคือเครือข่ายแคปซูลที่ออกแบบมาเพื่อแก้ไขโดยเฉพาะ
CNN ที่มีการรวมกลุ่มสูงสุดจะละทิ้งความสัมพันธ์เชิงพื้นที่ที่แม่นยำ ดังนั้นใบหน้าที่มีส่วนผิดตำแหน่งจึงยังคงได้คะแนนสูง นี่คือแคปซูล 'ปัญหา Picasso' ที่พยายามแก้ไข
ชื่อของอัลกอริธึมที่ใช้ตัดสินใจว่าแคปซูลระดับล่างตัวใดเชื่อมต่อกับแคปซูลระดับสูงกว่าตัวใด
การกำหนดเส้นทางแบบไดนามิกตามข้อตกลงซ้ำแล้วซ้ำเล่าจะเสริมสร้างการเชื่อมต่อระหว่างแคปซูลที่การคาดการณ์สอดคล้องกับผลลัพธ์ของแคปซูลที่สูงกว่า
ใครเป็นผู้แนะนำเครือข่ายแคปซูลพร้อมการกำหนดเส้นทางแบบไดนามิกในปี 2560
บทความ 'Dynamic Routing Between Capsules' ปี 2017 ประพันธ์โดย Sara Sabour, Nicholas Frosst และ Geoffrey Hinton
จุดประสงค์ของฟังก์ชัน 'สควอช' ในเครือข่ายแคปซูลคืออะไร?
ความไม่เชิงเส้นของสควอชจะทำให้เวกเตอร์ขนาดสั้นหดตัวลงจนเหลือศูนย์ และปิดเวกเตอร์ขนาดยาวไว้ใกล้กับความยาวหนึ่ง ดังนั้นขนาดจึงสามารถอ่านได้ว่าเป็นความน่าจะเป็นในขณะที่การวางแนว (ท่าทาง) ยังคงอยู่