ภาพรวม
การบิดงอที่เปลี่ยนรูปได้ทำให้โครงข่ายประสาทเทียมโค้งงอตารางสุ่มตัวอย่างเพื่อให้เป็นไปตามรูปร่างที่แท้จริงของวัตถุ แทนที่จะบังคับผ่านหน้าต่างสี่เหลี่ยมที่แข็งแรง สิ่งนี้ทำให้โมเดลจัดการรูปร่างแปลก ๆ การเปลี่ยนแปลงขนาด และการบิดเบี้ยวทางเรขาคณิตได้ดีขึ้นมาก
Deformable Convolutions เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์
เจาะลึก
ตัวอย่างพิกเซลแบบหมุนปกติที่ออฟเซ็ตคงที่ — ตาราง 3x3 ที่เป็นระเบียบเรียบร้อยซึ่งมีศูนย์กลางอยู่ที่แต่ละตำแหน่ง ซึ่งใช้ได้ดีกับพื้นผิว แต่จะมีปัญหาเมื่อวัตถุเอียง ยืดออก หรือมีรูปร่างผิดปกติ การบิดงอที่เปลี่ยนรูปได้ แนะนำโดย Dai และเพื่อนร่วมงานที่ Microsoft การวิจัยในปี 2017 เพิ่มค่าชดเชยการเรียนรู้เล็กน้อยให้กับจุดสุ่มตัวอย่างแต่ละจุด เครือข่ายจะดูอินพุตและคาดการณ์การเปลี่ยนแปลง 2D สำหรับทุกตำแหน่งของกริด ดังนั้นฟิลด์รับสัญญาณจึงสามารถบิดเบี้ยวเพื่อโอบขอบโค้งหรือตามแขนขาที่เอียงได้ การรวม RoI ที่ปรับเปลี่ยนได้จะใช้แนวคิดเดียวกันกับคุณลักษณะของภูมิภาค เวอร์ชัน 2 (2018) เพิ่มน้ำหนักมอดูเลตต่อจุด เพื่อให้เลเยอร์รองรับหรือขยายแต่ละตัวอย่าง ซึ่งเพิ่มความแม่นยำในการตรวจจับวัตถุบนเกณฑ์มาตรฐาน เช่น COCO
ข้อมูลเชิงลึกทางเทคนิค
ออฟเซ็ตถูกสร้างขึ้นโดยเลเยอร์ Convolution พิเศษที่ทำงานแบบขนาน โดยส่งออกค่า 2N สำหรับเคอร์เนล N-point (หนึ่ง dx, หนึ่ง dy ต่อจุด) เนื่องจากออฟเซ็ตที่คาดการณ์ไว้นั้นเป็นเศษส่วน ค่าพิกเซลตัวอย่างจึงถูกคำนวณด้วยการแก้ไขแบบไบลิเนียร์ ซึ่งทำให้การดำเนินการทั้งหมดสามารถหาความแตกต่างได้ การออฟเซ็ตจะเรียนรู้ตั้งแต่ต้นจนจบผ่านการเผยแพร่ย้อนกลับแบบปกติ — ไม่มีการควบคุมแยกที่แยกจากกันเพื่อบอกเครือข่ายว่าจะดูจากที่ใด ต้นทุนเพิ่มเติมนั้นค่อนข้างเจียมเนื้อเจียมตัวเนื่องจากสาขาออฟเซ็ตมีน้ำหนักเบาเมื่อเทียบกับแผนผังคุณสมบัติหลัก
การเรียนรู้การโน้มน้าวใจที่เปลี่ยนรูปได้
การบิดงอที่เปลี่ยนรูปได้ทำให้โครงข่ายประสาทเทียมโค้งงอตารางสุ่มตัวอย่างเพื่อให้เป็นไปตามรูปร่างที่แท้จริงของวัตถุ แทนที่จะบังคับผ่านหน้าต่างสี่เหลี่ยมที่แข็งแรง สิ่งนี้ทำให้โมเดลจัดการรูปร่างแปลก ๆ การเปลี่ยนแปลงขนาด และการบิดเบือนทางเรขาคณิตได้ดีขึ้นมาก Deformable Convolutions เป็นของเวิร์กโฟลว์คอมพิวเตอร์วิทัศน์ที่ตีความหรือสร้างสื่อภาพเพื่อการวิเคราะห์ การดำเนินงาน และความคิดสร้างสรรค์ เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Deformable Convolutions เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังคงต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Deformable Convolutions จะรักษาสมดุลระหว่างความแม่นยำกับความเป็นจริงในการปฏิบัติงาน เช่น คุณภาพของข้อมูล ความแปรปรวนของแสง และความสม่ำเสมอในการติดฉลาก โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในขณะเดียวกัน สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ
Visual AI สามารถทำให้การตรวจสอบ การตรวจจับ และการแท็กเป็นอัตโนมัติในขนาดต่างๆ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง
ทีมสร้างสรรค์สามารถสร้างต้นแบบแนวคิดได้รวดเร็วขึ้นโดยต้องมีการแก้ไขด้วยตนเองน้อยลง ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก
การดำเนินการสามารถใช้สัญญาณภาพและวิดีโอที่ก่อนหน้านี้ประมวลผลได้ยาก ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การตรวจจับวัตถุบน COCO โดยที่เลเยอร์ที่เปลี่ยนรูปได้จะเพิ่มความแม่นยำให้กับวัตถุที่ยาวหรือหมุนได้ เช่น รถไฟและยีราฟ
การแบ่งส่วนความหมายของฉากถนน ช่วยให้โมเดลติดตามเครื่องหมายโค้งของเลนและโครงร่างอาคารที่ไม่ปกติ
DETR ที่เปลี่ยนรูปได้สำหรับการตรวจจับจากต้นทางถึงปลายทาง โดยใช้ออฟเซ็ตที่เรียนรู้เพื่อทำให้ความสนใจของหม้อแปลงมีประสิทธิภาพ
การถ่ายภาพทางการแพทย์ ซึ่งเนื้องอกและอวัยวะมีรูปร่างที่ไม่แข็งจนทำให้เส้นกริดคงที่จับได้ไม่ดี
รูปแบบการดำเนินงาน
Convolution ที่เปลี่ยนรูปได้ในทางปฏิบัติ
การตรวจจับวัตถุบน COCO โดยที่เลเยอร์ที่เปลี่ยนรูปได้จะเพิ่มความแม่นยำให้กับวัตถุที่ยาวหรือหมุนได้ เช่น รถไฟและยีราฟ
การตรวจจับวัตถุบน COCO โดยที่เลเยอร์ที่เปลี่ยนรูปได้จะเพิ่มความแม่นยำให้กับวัตถุที่ยาวหรือหมุนได้ เช่น รถไฟและยีราฟ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Convolution ที่เปลี่ยนรูปได้ในทางปฏิบัติ
การแบ่งส่วนความหมายของฉากถนน ช่วยให้โมเดลติดตามเครื่องหมายโค้งของเลนและโครงร่างอาคารที่ไม่ปกติ
การแบ่งส่วนความหมายของฉากถนน ช่วยให้โมเดลติดตามเครื่องหมายเลนโค้งและโครงร่างอาคารที่ผิดปกติ ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Convolution ที่เปลี่ยนรูปได้ในทางปฏิบัติ
DETR ที่เปลี่ยนรูปได้สำหรับการตรวจจับจากต้นทางถึงปลายทาง โดยใช้ออฟเซ็ตที่เรียนรู้เพื่อทำให้ความสนใจของหม้อแปลงมีประสิทธิภาพ
DETR ที่ปรับเปลี่ยนรูปแบบได้สำหรับการตรวจจับตั้งแต่ต้นทางถึงปลายทาง โดยใช้ออฟเซ็ตที่เรียนรู้เพื่อทำให้ความสนใจของหม้อแปลงมีประสิทธิภาพ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
Convolution ที่เปลี่ยนรูปได้ในทางปฏิบัติ
การถ่ายภาพทางการแพทย์ ซึ่งเนื้องอกและอวัยวะมีรูปร่างที่ไม่แข็งจนทำให้เส้นกริดคงที่จับได้ไม่ดี
การถ่ายภาพทางการแพทย์ ซึ่งเนื้องอกและอวัยวะมีรูปร่างที่ไม่แข็งซึ่งกริดแบบคงที่จับได้ไม่ดี ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อกำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับของมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
สิทธิ์และความยินยอมในรูปภาพอาจกลายเป็นความเสี่ยงทางกฎหมายได้หากแหล่งที่มาไม่ชัดเจน
ประสิทธิภาพของโมเดลอาจแตกต่างกันไปตามสภาพแสง ข้อมูลประชากร และสภาพแวดล้อม
ผลบวกลวงอาจไม่สังเกตเห็นเว้นแต่จะมีการตรวจสอบเกณฑ์ความเชื่อมั่น
แผนงานการดำเนินงาน
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด
กำหนดเกณฑ์การยอมรับสำหรับความแม่นยำ การเรียกคืน และต้นทุนข้อผิดพลาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง
ทดสอบด้วยข้อมูลที่ตรงกับเงื่อนไขการผลิตจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง
เพิ่มการตรวจสอบโดยเจ้าหน้าที่สำหรับการคาดการณ์ที่มีความมั่นใจต่ำหรือมีผลกระทบสูง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล
ติดตามการเคลื่อนตัวของโมเดลและตรวจสอบความถูกต้องอีกครั้งหลังจากการเปลี่ยนแปลงกล้องหรือชุดข้อมูล ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น