คู่มือทางเทคนิค
แคปซูล เน็ตเวิร์คส์
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด)
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ
เจาะลึก
เสนอโดย Geoffrey Hinton, Sara Sabour และ Nicholas Frosst ในปี 2560 เครือข่ายแคปซูลแทนที่เอาท์พุตของเซลล์ประสาทสเกลาร์ด้วยเวกเตอร์ ความยาวของเวกเตอร์แสดงถึงความน่าจะเป็นที่เอนทิตี (เช่น ตาหรือจมูก) มีอยู่ ในขณะที่การวางแนวของเวกเตอร์จะเข้ารหัสพารามิเตอร์ที่ก่อให้เกิด แคปซูลระดับล่างทำนายตำแหน่งของแคปซูลระดับสูงกว่าผ่านเมทริกซ์การแปลง และกระบวนการที่เรียกว่าการกำหนดเส้นทางแบบไดนามิกตามข้อตกลงจะตัดสินว่าการคาดการณ์ใดเชื่อถือได้ เมื่อชิ้นส่วนแคปซูลหลายชิ้นสอดคล้องกันในสิ่งเดียวกัน การกำหนดเส้นทางจะเสริมความแข็งแกร่งให้กับการเชื่อมต่อนั้น CapsNet ดั้งเดิมได้รับผลลัพธ์ที่ยอดเยี่ยมใน MNIST และมีความโดดเด่นในเรื่องตัวเลขที่ทับซ้อนกันและการแปลงความสัมพันธ์ โดยจัดการกับ 'ปัญหา Picasso' ที่ CNN ยอมรับลักษณะใบหน้าที่สับสนว่าเป็นใบหน้าที่ถูกต้อง
การใช้งานจริงในโลกแห่งความเป็นจริง
การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตใหม่จากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย
การแยกตัวเลขสองหลักที่ทับซ้อนกัน (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด
การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมอง ซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ
การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมน้อยลง โดยใช้ประโยชน์จากความเท่าเทียมกันของมุมมองในตัวของสถาปัตยกรรม
อนาคตของเครือข่ายแคปซูล
เครือข่ายแคปซูลยังคงเป็นทิศทางการวิจัยมากกว่ามาตรฐานที่ใช้งาน ส่วนใหญ่เป็นเพราะการกำหนดเส้นทางแบบไดนามิกมีราคาแพงในการคำนวณและปรับขนาดได้ไม่ดีสำหรับรูปภาพขนาดใหญ่เช่น ImageNet งานต่อมาได้สำรวจการกำหนดเส้นทาง EM (Matrix Capsules) และการกำหนดเส้นทางโดยคำนึงถึงตนเองเพื่อปรับปรุงประสิทธิภาพ เนื่องจากความสนใจในความเท่าเทียมกัน ประสิทธิภาพของตัวอย่าง และลำดับชั้นทั้งส่วนที่ตีความได้เพิ่มขึ้น แนวคิดแบบแคปซูลยังคงมีอิทธิพลต่อการวิจัย รวมถึงข้อเสนอ GLOM ในภายหลังของฮินตัน แม้ว่า Transformers จะครองวิสัยทัศน์กระแสหลักก็ตาม
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Capsule Networks quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
แคปซูล เน็ตเวิร์ค คืออะไร?
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด) พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ
ในเครือข่ายแคปซูล LENGTH ของเวกเตอร์เอาท์พุตของแคปซูลแสดงถึงอะไร
ความยาวของเวกเตอร์ (ขนาด) เข้ารหัสความน่าจะเป็นที่เอนทิตีมีอยู่ ในขณะที่การวางแนวของเวกเตอร์เข้ารหัสก่อให้เกิดพารามิเตอร์ เช่น ตำแหน่งและการหมุน
ปัญหาอะไรกับ CNN มาตรฐานคือเครือข่ายแคปซูลที่ออกแบบมาเพื่อแก้ไขโดยเฉพาะ
CNN ที่มีการรวมกลุ่มสูงสุดจะละทิ้งความสัมพันธ์เชิงพื้นที่ที่แม่นยำ ดังนั้นใบหน้าที่มีส่วนผิดตำแหน่งจึงยังคงได้คะแนนสูง นี่คือแคปซูล 'ปัญหา Picasso' ที่พยายามแก้ไข
ชื่อของอัลกอริธึมที่ใช้ตัดสินใจว่าแคปซูลระดับล่างตัวใดเชื่อมต่อกับแคปซูลระดับสูงกว่าตัวใด
การกำหนดเส้นทางแบบไดนามิกตามข้อตกลงซ้ำแล้วซ้ำเล่าจะเสริมสร้างการเชื่อมต่อระหว่างแคปซูลที่การคาดการณ์สอดคล้องกับผลลัพธ์ของแคปซูลที่สูงกว่า
ใครเป็นผู้แนะนำเครือข่ายแคปซูลพร้อมการกำหนดเส้นทางแบบไดนามิกในปี 2560
บทความ 'Dynamic Routing Between Capsules' ปี 2017 ประพันธ์โดย Sara Sabour, Nicholas Frosst และ Geoffrey Hinton
จุดประสงค์ของฟังก์ชัน 'สควอช' ในเครือข่ายแคปซูลคืออะไร?
ความไม่เชิงเส้นของสควอชจะทำให้เวกเตอร์ขนาดสั้นหดตัวลงจนเหลือศูนย์ และปิดเวกเตอร์ขนาดยาวไว้ใกล้กับความยาวหนึ่ง ดังนั้นขนาดจึงสามารถอ่านได้ว่าเป็นความน่าจะเป็นในขณะที่การวางแนว (ท่าทาง) ยังคงอยู่
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้