คู่มือทางเทคนิค

เครือข่ายสยามและการสูญเสียแฝดสาม

เครือข่ายสยามใช้สาขาการแบ่งปันน้ำหนักที่เหมือนกันสองสาขาขึ้นไปเพื่อเรียนรู้ว่าข้อมูลเข้าสองรายการมีความคล้ายคลึงกันอย่างไร แทนที่จะแยกประเภทแต่ละข้อมูล

ภาพรวม

เครือข่ายสยามใช้สาขาการแบ่งปันน้ำหนักที่เหมือนกันสองสาขาขึ้นไปเพื่อเรียนรู้ว่าข้อมูลเข้าสองรายการมีความคล้ายคลึงกันอย่างไร แทนที่จะแยกประเภทแต่ละข้อมูล การสูญเสีย Triplet ฝึกพวกเขาโดยการดึงรายการที่ตรงกันมารวมกันและแยกสิ่งที่ไม่ตรงกันออกจากกัน ซึ่งเป็นหัวใจสำคัญของการจดจำใบหน้า การตรวจสอบลายเซ็น และการเรียนรู้แบบช็อตเดียว

Siamese Networks และ Triplet Loss เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง

เจาะลึก

เครือข่ายสยามดำเนินการแต่ละอินพุตผ่านตัวเข้ารหัสเดียวกันโดยมีน้ำหนักร่วมกัน ทำให้เกิดเวกเตอร์แบบฝังสำหรับแต่ละรายการ แทนที่จะทำนายป้ายกำกับคลาส ระบบจะเปรียบเทียบการฝังโดยใช้ระยะห่าง เช่น ยุคลิดหรือโคไซน์ ซึ่งช่วยให้ระบบจดจำหมวดหมู่ใหม่ๆ ที่ไม่เคยฝึกมาก่อน ซึ่งสำคัญมากเมื่อคุณมีตัวอย่างเพียงตัวอย่างเดียวหรือสองสามตัวอย่างต่อข้อมูลระบุตัวตน (การเรียนรู้แบบครั้งเดียว) เวอร์ชันแรกใช้การสูญเสียแบบตรงกันข้ามกับคู่ (คล้ายกันกับต่างกัน) การสูญเสียแฝดช่วยปรับปรุงสิ่งนี้โดยการฝึกอินพุตสามรายการในคราวเดียว: สมอเรือ, ค่าบวก (คลาสเดียวกับสมอ) และค่าลบ (คลาสต่างกัน) วัตถุประสงค์บังคับให้ระยะห่างของจุดยึดบวกนั้นเล็กกว่าระยะห่างของจุดยึดลบด้วยระยะขอบ ดังนั้นโมเดลจึงเรียนรู้พื้นที่ฝังที่ซึ่งรายการที่มีตัวตนเหมือนกันจะรวมตัวกันอย่างแน่นหนา และตัวตนที่แตกต่างกันจะอยู่ห่างกัน

ข้อมูลเชิงลึกทางเทคนิค

การสูญเสียแฝดคือค่าสูงสุด (0, d(a,p) − d(a,n) + ขอบ) โดยที่ d คือระยะทาง a/p/n คือจุดยึด/บวก/ลบ และระยะขอบเป็นช่องว่างคงที่ หากค่าลบอยู่ไกลพออยู่แล้ว การสูญเสียจะเป็นศูนย์และไม่มีการเรียนรู้อะไร ดังนั้นคุณภาพการฝึกอบรมจึงขึ้นอยู่กับการขุดแบบฮาร์ดลบ: การเลือกแฝดสามโดยที่ค่าลบนั้นอยู่ใกล้กับสมออย่างหลอกลวง การแบ่งน้ำหนักระหว่างสาขารับประกันว่าอินพุตทั้งสองแมปลงในพื้นที่ฝังเดียวกัน ซึ่งทำให้การเปรียบเทียบระยะทางมีความหมาย

การเรียนรู้เครือข่ายสยามและการสูญเสียแฝดสาม

เครือข่ายสยามใช้สาขาการแบ่งปันน้ำหนักที่เหมือนกันสองสาขาขึ้นไปเพื่อเรียนรู้ว่าข้อมูลเข้าสองรายการมีความคล้ายคลึงกันอย่างไร แทนที่จะแยกประเภทแต่ละข้อมูล การสูญเสีย Triplet ฝึกพวกเขาโดยการดึงรายการที่ตรงกันมารวมกันและแยกสิ่งที่ไม่ตรงกันออกจากกัน ซึ่งเป็นหัวใจสำคัญของการจดจำใบหน้า การตรวจสอบลายเซ็น และการเรียนรู้แบบช็อตเดียว Siamese Networks และ Triplet Loss เป็นองค์ประกอบทางเทคนิคที่ส่งผลต่อคุณภาพของโมเดล ต้นทุนโครงสร้างพื้นฐาน เวลาแฝง และความน่าเชื่อถือในวงกว้าง เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Siamese Networks และ Triplet Loss เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Siamese Networks และ Triplet Loss จะปรับสถาปัตยกรรม ข้อมูล และตัวเลือกโครงสร้างพื้นฐานให้เหมาะสมโดยเทียบกับความน่าเชื่อถือและต้นทุน โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในเวลาเดียวกัน การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี

การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด

การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของเครือข่ายสยามและการสูญเสียแฝดสาม

แนวคิดหลัก — เรียนรู้พื้นที่ฝังตัวที่ระยะทางเท่ากับความคล้ายคลึง — ตอนนี้ขับเคลื่อนการเรียนรู้เชิงเปรียบเทียบขนาดใหญ่ วิธีการอย่าง SimCLR และโมเดลอย่าง CLIP จะใช้หลักการเดียวกันนี้กับคู่รูปภาพและข้อความหลายล้านคู่โดยไม่มีแฝดสามอย่างชัดเจน คาดหวังว่าการเรียนรู้ด้านเมตริกจะยังคงเป็นศูนย์กลางในการเรียกค้น การขจัดข้อมูลซ้ำซ้อน การแนะนำ และการค้นหาฐานข้อมูลเวกเตอร์ ในขณะที่การสูญเสียใหม่ๆ (InfoNCE ความคล้ายคลึงกันหลายอย่าง) และแบทช์ขนาดใหญ่เข้ามาแทนที่การขุด Triplet ที่ปรับแต่งด้วยมือมากขึ้นเรื่อยๆ เพื่อประสิทธิภาพและขนาด

การใช้งานจริงในโลกแห่งความเป็นจริง

การจดจำใบหน้าบนโทรศัพท์ (สไตล์ FaceNet): การตรวจสอบตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าทั้งสองอยู่ใกล้เพียงพอหรือไม่

การตรวจสอบลายเซ็นและลายมือ เพื่อยืนยันว่าตัวอย่างตรงกับข้อมูลอ้างอิงในไฟล์หรือไม่

การตรวจจับซ้ำและเกือบซ้ำกัน ค้นหาภาพถ่ายผลิตภัณฑ์ที่คล้ายกันหรือภาพที่ลอกเลียนแบบ

การเรียนรู้แบบครั้งเดียวสำหรับหมวดหมู่ที่หายาก โดยจดจำบุคคลหรือวัตถุใหม่จากตัวอย่างที่ลงทะเบียนไว้เพียงตัวอย่างเดียว

รูปแบบการดำเนินงาน

เครือข่ายสยามและการสูญเสียแฝดในทางปฏิบัติ

การจดจำใบหน้าบนโทรศัพท์ (สไตล์ FaceNet): การตรวจสอบตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าทั้งสองอยู่ใกล้เพียงพอหรือไม่

การจดจำใบหน้าบนโทรศัพท์ (สไตล์ FaceNet): การตรวจสอบตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าสองหน้าอยู่ใกล้เพียงพอหรือไม่ โดยปกติแล้วทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

เครือข่ายสยามและการสูญเสียแฝดในทางปฏิบัติ

การตรวจสอบลายเซ็นและลายมือ เพื่อยืนยันว่าตัวอย่างตรงกับข้อมูลอ้างอิงในไฟล์หรือไม่

การตรวจสอบลายเซ็นและลายมือ การยืนยันว่าตัวอย่างตรงกับการอ้างอิงในไฟล์หรือไม่ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

เครือข่ายสยามและการสูญเสียแฝดในทางปฏิบัติ

การตรวจจับซ้ำและเกือบซ้ำกัน ค้นหาภาพถ่ายผลิตภัณฑ์ที่คล้ายกันหรือภาพที่ลอกเลียนแบบ

การตรวจจับรายการซ้ำและเกือบซ้ำกัน การค้นหารูปถ่ายผลิตภัณฑ์ที่ดูคล้ายกันหรือรูปภาพที่ลอกเลียนแบบ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพไว้ล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

เครือข่ายสยามและการสูญเสียแฝดในทางปฏิบัติ

การเรียนรู้แบบครั้งเดียวสำหรับหมวดหมู่ที่หายาก โดยจดจำบุคคลหรือวัตถุใหม่จากตัวอย่างที่ลงทะเบียนไว้เพียงตัวอย่างเดียว

การเรียนรู้แบบครั้งเดียวสำหรับหมวดหมู่ที่หายาก การจดจำบุคคลหรือวัตถุใหม่จากตัวอย่างที่ลงทะเบียนไว้เพียงตัวอย่างเดียว ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้

!

ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป

!

ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

แผนงานการดำเนินงาน

1

กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน

กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง

เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้

การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป