คู่มือ AI แบบเห็นภาพ
การโน้มน้าวใจที่เปลี่ยนรูปได้
การบิดงอที่เปลี่ยนรูปได้ทำให้โครงข่ายประสาทเทียมโค้งงอตารางสุ่มตัวอย่างเพื่อให้เป็นไปตามรูปร่างที่แท้จริงของวัตถุ แทนที่จะบังคับผ่านหน้าต่างสี่เหลี่ยมที่แข็งแรง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
บนหน้านี้อ่าน 2 นาที
ภาพรวม
This makes models far better at handling odd shapes, scale changes, and geometric distortion.
เจาะลึก
ตัวอย่างพิกเซลแบบหมุนปกติที่ออฟเซ็ตคงที่ — ตาราง 3x3 ที่เป็นระเบียบเรียบร้อยซึ่งมีศูนย์กลางอยู่ที่แต่ละตำแหน่ง ซึ่งใช้ได้ดีกับพื้นผิว แต่จะมีปัญหาเมื่อวัตถุเอียง ยืดออก หรือมีรูปร่างผิดปกติ การบิดงอที่เปลี่ยนรูปได้ แนะนำโดย Dai และเพื่อนร่วมงานที่ Microsoft การวิจัยในปี 2017 เพิ่มค่าชดเชยการเรียนรู้เล็กน้อยให้กับจุดสุ่มตัวอย่างแต่ละจุด เครือข่ายจะดูอินพุตและคาดการณ์การเปลี่ยนแปลง 2D สำหรับทุกตำแหน่งของกริด ดังนั้นฟิลด์รับสัญญาณจึงสามารถบิดเบี้ยวเพื่อโอบขอบโค้งหรือตามแขนขาที่เอียงได้ การรวม RoI ที่ปรับเปลี่ยนได้จะใช้แนวคิดเดียวกันกับคุณลักษณะของภูมิภาค เวอร์ชัน 2 (2018) เพิ่มน้ำหนักมอดูเลตต่อจุด เพื่อให้เลเยอร์รองรับหรือขยายแต่ละตัวอย่าง ซึ่งเพิ่มความแม่นยำในการตรวจจับวัตถุบนเกณฑ์มาตรฐาน เช่น COCO
การใช้งานจริงในโลกแห่งความเป็นจริง
การตรวจจับวัตถุบน COCO โดยที่เลเยอร์ที่เปลี่ยนรูปได้จะเพิ่มความแม่นยำให้กับวัตถุที่ยาวหรือหมุนได้ เช่น รถไฟและยีราฟ
การแบ่งส่วนความหมายของฉากถนน ช่วยให้โมเดลติดตามเครื่องหมายโค้งของเลนและโครงร่างอาคารที่ไม่ปกติ
DETR ที่เปลี่ยนรูปได้สำหรับการตรวจจับจากต้นทางถึงปลายทาง โดยใช้ออฟเซ็ตที่เรียนรู้เพื่อทำให้ความสนใจของหม้อแปลงมีประสิทธิภาพ
การถ่ายภาพทางการแพทย์ ซึ่งเนื้องอกและอวัยวะมีรูปร่างที่ไม่แข็งจนทำให้เส้นกริดคงที่จับได้ไม่ดี
อนาคตของการบิดเบี้ยวที่เปลี่ยนรูปได้
ความสนใจที่เปลี่ยนรูปได้กลายมาเป็นแกนหลักของการตรวจจับสมัยใหม่: DETR ที่เปลี่ยนรูปได้ใช้การชดเชยการสุ่มตัวอย่างที่เรียนรู้เพื่อทำให้ความสนใจของหม้อแปลงเบาบางและรวดเร็ว ซึ่งช่วยลดเวลาการฝึกอบรมได้อย่างมากเมื่อเทียบกับ DETR ดั้งเดิม คาดว่าหลักการที่เปลี่ยนรูปได้จะแพร่กระจายไปยังวิดีโอ, คลาวด์พอยต์ 3 มิติ และโมเดลภาษาการมองเห็น ซึ่งการสุ่มตัวอย่างแบบปรับได้จะช่วยจัดการกับการเคลื่อนไหว การบดเคี้ยว และเรขาคณิตที่ผิดปกติ เนื่องจากการสนับสนุนฮาร์ดแวร์สำหรับการเข้าถึงหน่วยความจำที่ผิดปกติได้รับการปรับปรุง ผู้ปฏิบัติงานที่ปรับเปลี่ยนรูปแบบได้ก็ควรมีราคาถูกลงและมีการนำไปใช้งานบนอุปกรณ์ Edge อย่างกว้างขวางมากขึ้น
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ความเร็วและขนาด. Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
- สร้างทางเลือก. ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
- ทีมงานและขั้นตอนการทำงาน. การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
ระวัง
- สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
- ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
- ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
ขั้นตอนต่อไป
- กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
- ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
- เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
- ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Deformable Convolutions quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
What is Deformable Convolutions?
การบิดงอที่เปลี่ยนรูปได้ทำให้โครงข่ายประสาทเทียมโค้งงอตารางสุ่มตัวอย่างเพื่อให้เป็นไปตามรูปร่างที่แท้จริงของวัตถุ แทนที่จะบังคับผ่านหน้าต่างสี่เหลี่ยมที่แข็งแรง สิ่งนี้ทำให้โมเดลจัดการรูปร่างแปลก ๆ การเปลี่ยนแปลงขนาด และการบิดเบี้ยวทางเรขาคณิตได้ดีขึ้นมาก
การบิดที่เปลี่ยนรูปได้จะเพิ่มอะไรเมื่อเปรียบเทียบกับการบิดแบบมาตรฐาน
การบิดงอที่เปลี่ยนรูปได้ทำนายออฟเซ็ตที่เรียนรู้ (dx, dy) สำหรับแต่ละตำแหน่งการสุ่มตัวอย่าง ปล่อยให้กริดบิดเบี้ยวเพื่อให้ตรงกับรูปร่างของวัตถุ
การสุ่มตัวอย่างจะชดเชยการบิดงอที่เปลี่ยนรูปได้อย่างไร
สาขาการบิดแบบขนานจะส่งเอาท์พุตออฟเซ็ตซึ่งเรียนรู้จากต้นทางถึงปลายทางผ่านการเผยแพร่ย้อนกลับ
เนื่องจากออฟเซ็ตที่คาดการณ์ไว้มักจะเป็นเศษส่วน ค่าพิกเซลจะถูกสุ่มตัวอย่างที่ตำแหน่งเหล่านั้นอย่างไร
การชดเชยแบบเศษส่วนจำเป็นต้องมีการประมาณค่าแบบไบลิเนียร์ ซึ่งช่วยให้การดำเนินการสร้างความแตกต่างได้สำหรับการฝึก
Deformable ConvNets v2 (2018) เพิ่มอะไรจากต้นฉบับ
v2 นำเสนอการปรับ ซึ่งเป็นน้ำหนักที่เรียนรู้ต่อจุดสุ่มตัวอย่างที่สามารถขยายหรือระงับอิทธิพลของมันได้ และปรับปรุงความแม่นยำ
เหตุใดการบิดงอที่เปลี่ยนรูปได้จึงมีประโยชน์เป็นพิเศษกับวัตถุที่มีรูปร่างไม่ปกติ
ด้วยการดัดตารางการสุ่มตัวอย่าง สนามรับสัญญาณที่มีประสิทธิภาพจะจัดแนวตามเรขาคณิตของวัตถุแทนที่จะเป็นสี่เหลี่ยมจัตุรัสแบบแข็ง
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้