ภาพรวม
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด) พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ
Capsule Networks เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง
เจาะลึก
เสนอโดย Geoffrey Hinton, Sara Sabour และ Nicholas Frosst ในปี 2560 เครือข่ายแคปซูลแทนที่เอาท์พุตของเซลล์ประสาทสเกลาร์ด้วยเวกเตอร์ ความยาวของเวกเตอร์แสดงถึงความน่าจะเป็นที่เอนทิตี (เช่น ตาหรือจมูก) มีอยู่ ในขณะที่การวางแนวของเวกเตอร์จะเข้ารหัสพารามิเตอร์ที่ก่อให้เกิด แคปซูลระดับล่างทำนายตำแหน่งของแคปซูลระดับสูงกว่าผ่านเมทริกซ์การแปลง และกระบวนการที่เรียกว่าการกำหนดเส้นทางแบบไดนามิกตามข้อตกลงจะตัดสินว่าการคาดการณ์ใดเชื่อถือได้ เมื่อชิ้นส่วนแคปซูลหลายชิ้นสอดคล้องกันในสิ่งเดียวกัน การกำหนดเส้นทางจะเสริมความแข็งแกร่งให้กับการเชื่อมต่อนั้น CapsNet ดั้งเดิมได้รับผลลัพธ์ที่ยอดเยี่ยมใน MNIST และมีความโดดเด่นในเรื่องตัวเลขที่ทับซ้อนกันและการแปลงความสัมพันธ์ โดยจัดการกับ 'ปัญหา Picasso' ที่ CNN ยอมรับลักษณะใบหน้าที่สับสนว่าเป็นใบหน้าที่ถูกต้อง
ข้อมูลเชิงลึกทางเทคนิค
กลไกสำคัญคือความไม่เชิงเส้นแบบ 'สควอช' ที่จะย่อเวกเตอร์ขนาดสั้นให้เหลือศูนย์ และเวกเตอร์ที่ยาวไปทางความยาวหนึ่ง ดังนั้น ขนาดเวกเตอร์จึงอ่านว่ามีความน่าจะเป็น จากนั้นการกำหนดเส้นทางแบบไดนามิกจะวนซ้ำสองสามครั้งของขั้นตอนข้อตกลงแบบ softmax-weighted: แต่ละแคปซูลที่ต่ำกว่าจะส่งการทำนายขึ้น และค่าสัมประสิทธิ์การเชื่อมต่อจะเพิ่มขึ้นสำหรับแคปซูลที่สูงกว่าซึ่งมีการจัดตำแหน่งเอาต์พุต (ผ่านผลิตภัณฑ์ดอท) กับการคาดการณ์นั้น สิ่งนี้จะเข้ามาแทนที่การรวมกลุ่มสูงสุด โดยรักษาข้อมูลเชิงพื้นที่ที่แม่นยำแทนที่จะละทิ้ง
การเรียนรู้เครือข่ายแคปซูล
เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด) พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ Capsule Networks เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง หากต้องการสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Capsule Networks เป็นเพียงโมเดลการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Capsule Networks จะปรับสถาปัตยกรรม ข้อมูล และตัวเลือกโครงสร้างพื้นฐานให้เหมาะสมโดยเทียบกับความน่าเชื่อถือและต้นทุน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในเวลาเดียวกัน การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตใหม่จากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย
การแยกตัวเลขสองหลักที่ทับซ้อนกัน (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด
การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมอง ซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ
การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมน้อยลง โดยใช้ประโยชน์จากความเท่าเทียมกันของมุมมองในตัวของสถาปัตยกรรม
รูปแบบการดำเนินงาน
เครือข่ายแคปซูลในทางปฏิบัติ
การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตใหม่จากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย
การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตจากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
เครือข่ายแคปซูลในทางปฏิบัติ
การแยกตัวเลขสองหลักที่ทับซ้อนกัน (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด
การแยกตัวเลขที่ทับซ้อนกันสองหลัก (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
เครือข่ายแคปซูลในทางปฏิบัติ
การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมอง ซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ
การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมองซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
เครือข่ายแคปซูลในทางปฏิบัติ
การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมน้อยลง โดยใช้ประโยชน์จากความเท่าเทียมกันของมุมมองในตัวของสถาปัตยกรรม
การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมที่น้อยลง การใช้ประโยชน์จากความเท่าเทียมของมุมมองในตัวของสถาปัตยกรรม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น