คู่มือทางเทคนิค

แคปซูล เน็ตเวิร์คส์

เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด)

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของเครือข่ายแคปซูล
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ

เจาะลึก

เสนอโดย Geoffrey Hinton, Sara Sabour และ Nicholas Frosst ในปี 2560 เครือข่ายแคปซูลแทนที่เอาท์พุตของเซลล์ประสาทสเกลาร์ด้วยเวกเตอร์ ความยาวของเวกเตอร์แสดงถึงความน่าจะเป็นที่เอนทิตี (เช่น ตาหรือจมูก) มีอยู่ ในขณะที่การวางแนวของเวกเตอร์จะเข้ารหัสพารามิเตอร์ที่ก่อให้เกิด แคปซูลระดับล่างทำนายตำแหน่งของแคปซูลระดับสูงกว่าผ่านเมทริกซ์การแปลง และกระบวนการที่เรียกว่าการกำหนดเส้นทางแบบไดนามิกตามข้อตกลงจะตัดสินว่าการคาดการณ์ใดเชื่อถือได้ เมื่อชิ้นส่วนแคปซูลหลายชิ้นสอดคล้องกันในสิ่งเดียวกัน การกำหนดเส้นทางจะเสริมความแข็งแกร่งให้กับการเชื่อมต่อนั้น CapsNet ดั้งเดิมได้รับผลลัพธ์ที่ยอดเยี่ยมใน MNIST และมีความโดดเด่นในเรื่องตัวเลขที่ทับซ้อนกันและการแปลงความสัมพันธ์ โดยจัดการกับ 'ปัญหา Picasso' ที่ CNN ยอมรับลักษณะใบหน้าที่สับสนว่าเป็นใบหน้าที่ถูกต้อง

การใช้งานจริงในโลกแห่งความเป็นจริง

การจำแนกตัวเลขที่เขียนด้วยลายมือบน MNIST ในขณะที่สร้างอินพุตใหม่จากเวกเตอร์แคปซูล การแสดงพารามิเตอร์ท่าทางนั้นมีความหมาย

การแยกตัวเลขสองหลักที่ทับซ้อนกัน (งาน MultiMNIST) โดยการแบ่งส่วนพิกเซลที่เป็นของเอนทิตีใด

การวิจัยด้วยภาพทางการแพทย์โดยใช้แคปซูลเพื่อตรวจหาก้อนเนื้อในปอดหรือเนื้องอกในสมอง ซึ่งความสัมพันธ์เชิงพื้นที่บางส่วนมีความสำคัญ

การรับรู้วัตถุจากมุมมองใหม่ด้วยตัวอย่างการฝึกอบรมน้อยลง โดยใช้ประโยชน์จากความเท่าเทียมกันของมุมมองในตัวของสถาปัตยกรรม

อนาคตของเครือข่ายแคปซูล

เครือข่ายแคปซูลยังคงเป็นทิศทางการวิจัยมากกว่ามาตรฐานที่ใช้งาน ส่วนใหญ่เป็นเพราะการกำหนดเส้นทางแบบไดนามิกมีราคาแพงในการคำนวณและปรับขนาดได้ไม่ดีสำหรับรูปภาพขนาดใหญ่เช่น ImageNet งานต่อมาได้สำรวจการกำหนดเส้นทาง EM (Matrix Capsules) และการกำหนดเส้นทางโดยคำนึงถึงตนเองเพื่อปรับปรุงประสิทธิภาพ เนื่องจากความสนใจในความเท่าเทียมกัน ประสิทธิภาพของตัวอย่าง และลำดับชั้นทั้งส่วนที่ตีความได้เพิ่มขึ้น แนวคิดแบบแคปซูลยังคงมีอิทธิพลต่อการวิจัย รวมถึงข้อเสนอ GLOM ในภายหลังของฮินตัน แม้ว่า Transformers จะครองวิสัยทัศน์กระแสหลักก็ตาม

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Capsule Networks quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

แคปซูล เน็ตเวิร์ค คืออะไร?

เครือข่ายแคปซูลเป็นสถาปัตยกรรมประสาทที่จัดกลุ่มเซลล์ประสาทเป็น 'แคปซูล' ซึ่งส่งออกเวกเตอร์ที่เข้ารหัสทั้งว่ามีคุณลักษณะอยู่และท่าทางของมันหรือไม่ (ตำแหน่ง การวางแนว ขนาด) พวกเขาตั้งเป้าที่จะแก้ไขอาการตาบอดหลักในเครือข่าย Convolutional มาตรฐาน: สูญเสียการติดตามความสัมพันธ์เชิงพื้นที่ระหว่างส่วนต่างๆ

ในเครือข่ายแคปซูล LENGTH ของเวกเตอร์เอาท์พุตของแคปซูลแสดงถึงอะไร

ความยาวของเวกเตอร์ (ขนาด) เข้ารหัสความน่าจะเป็นที่เอนทิตีมีอยู่ ในขณะที่การวางแนวของเวกเตอร์เข้ารหัสก่อให้เกิดพารามิเตอร์ เช่น ตำแหน่งและการหมุน

ปัญหาอะไรกับ CNN มาตรฐานคือเครือข่ายแคปซูลที่ออกแบบมาเพื่อแก้ไขโดยเฉพาะ

CNN ที่มีการรวมกลุ่มสูงสุดจะละทิ้งความสัมพันธ์เชิงพื้นที่ที่แม่นยำ ดังนั้นใบหน้าที่มีส่วนผิดตำแหน่งจึงยังคงได้คะแนนสูง นี่คือแคปซูล 'ปัญหา Picasso' ที่พยายามแก้ไข

ชื่อของอัลกอริธึมที่ใช้ตัดสินใจว่าแคปซูลระดับล่างตัวใดเชื่อมต่อกับแคปซูลระดับสูงกว่าตัวใด

การกำหนดเส้นทางแบบไดนามิกตามข้อตกลงซ้ำแล้วซ้ำเล่าจะเสริมสร้างการเชื่อมต่อระหว่างแคปซูลที่การคาดการณ์สอดคล้องกับผลลัพธ์ของแคปซูลที่สูงกว่า

ใครเป็นผู้แนะนำเครือข่ายแคปซูลพร้อมการกำหนดเส้นทางแบบไดนามิกในปี 2560

บทความ 'Dynamic Routing Between Capsules' ปี 2017 ประพันธ์โดย Sara Sabour, Nicholas Frosst และ Geoffrey Hinton

จุดประสงค์ของฟังก์ชัน 'สควอช' ในเครือข่ายแคปซูลคืออะไร?

ความไม่เชิงเส้นของสควอชจะทำให้เวกเตอร์ขนาดสั้นหดตัวลงจนเหลือศูนย์ และปิดเวกเตอร์ขนาดยาวไว้ใกล้กับความยาวหนึ่ง ดังนั้นขนาดจึงสามารถอ่านได้ว่าเป็นความน่าจะเป็นในขณะที่การวางแนว (ท่าทาง) ยังคงอยู่

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →