คู่มือพื้นฐาน

การสูญเสีย Triplet และการเรียนรู้แบบเมตริก

การสูญเสียแฝดจะสอนโครงข่ายประสาทเทียมให้วางสิ่งของที่คล้ายกันไว้ใกล้กันและสิ่งของที่ไม่เหมือนกันให้แยกจากกันในพื้นที่ฝัง

ภาพรวม

การสูญเสียแฝดจะสอนโครงข่ายประสาทเทียมให้วางสิ่งของที่คล้ายกันไว้ใกล้กันและสิ่งของที่ไม่เหมือนกันให้แยกจากกันในพื้นที่ฝัง เป็นรากฐานเบื้องหลังระบบการจดจำใบหน้า การค้นหารูปภาพ และระบบแนะนำที่จำเป็นต้องเปรียบเทียบสิ่งต่างๆ ไม่ใช่แค่จำแนกประเภทเท่านั้น

Triplet Loss และ Metric Learning อยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น

เจาะลึก

การเรียนรู้แบบเมตริกฝึกแบบจำลองเพื่อสร้างการฝัง เวกเตอร์ที่ระยะทางสะท้อนถึงความคล้ายคลึงกัน การสูญเสียแบบทริปเล็ตทำได้โดยใช้อินพุต 3 ตัวในแต่ละครั้ง ได้แก่ จุดยึด ค่าบวก (คลาสเดียวกับจุดยึด) และค่าลบ (คลาสต่างกัน) วัตถุประสงค์จะดันพุกให้เข้าใกล้ค่าบวกมากกว่าค่าลบอย่างน้อยด้วยระยะขอบคงที่เป็นอย่างน้อย อย่างเป็นทางการ การสูญเสียคือสูงสุด(0, d(a,p) - d(a,n) + ขอบ) โดยที่ d โดยปกติคือระยะทางแบบยุคลิด FaceNet ปี 2015 ของ Google ทำให้แนวทางนี้เป็นที่นิยม โดยเรียนรู้การฝังใบหน้า 128 มิติโดยตรง เมื่อฝึกฝนแล้ว คุณจะเปรียบเทียบสองรายการใดๆ ตามระยะทางในการคำนวณ โดยไม่จำเป็นต้องฝึกอบรมซ้ำสำหรับข้อมูลประจำตัวใหม่ ความสามารถแบบเปิดนี้เป็นเหตุผลว่าทำไมการเรียนรู้แบบเมตริกจึงเพิ่มพลังในการตรวจสอบและจำแนกงานการดึงข้อมูลไม่สามารถจัดการได้อย่างง่ายดาย

ข้อมูลเชิงลึกทางเทคนิค

มาร์จิ้นคือสิ่งที่ทำให้การสูญเสียทริปเปิลทำงาน หากไม่มีสิ่งนี้ โมเดลอาจยุบการฝังทั้งหมดให้เหลือเพียงจุดเดียวได้เล็กน้อย ส่งผลให้ทุกระยะเป็นศูนย์และการเรียงลำดับก็ไร้ความหมาย มาร์จิ้นบังคับบัฟเฟอร์: ค่าลบจะต้องอยู่ห่างจากค่าบวกอย่างน้อยก่อนที่การสูญเสียจะถึงศูนย์ โดยทั่วไปการฝังจะถูกทำให้เป็นมาตรฐาน L2 บนหน่วยไฮเปอร์สเฟียร์ ดังนั้นระยะทางจึงมีขอบเขตและเปรียบเทียบได้ การเลือกระยะขอบ (มักจะประมาณ 0.2) จะแลกกับความแน่นหนาของการจัดกลุ่มคลัสเตอร์และการแยกระหว่างกัน

การเรียนรู้การสูญเสีย Triplet และการเรียนรู้แบบเมตริก

การสูญเสียแฝดจะสอนโครงข่ายประสาทเทียมให้วางสิ่งของที่คล้ายกันไว้ใกล้กันและสิ่งของที่ไม่เหมือนกันให้แยกจากกันในพื้นที่ฝัง เป็นรากฐานเบื้องหลังระบบการจดจำใบหน้า การค้นหารูปภาพ และระบบแนะนำที่จำเป็นต้องเปรียบเทียบสิ่งต่างๆ ไม่ใช่แค่จำแนกประเภทเท่านั้น Triplet Loss และ Metric Learning อยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Triplet Loss และ Metric Learning เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Triplet Loss และ Metric Learning จะสร้างโมเดลเชิงแนวคิดที่แข็งแกร่งก่อน จากนั้นจึงจับคู่โมเดลเหล่านั้นกับข้อจำกัดในการผลิตจริง โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในเวลาเดียวกัน ทีมต่างๆ อาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการสูญเสีย Triplet และการเรียนรู้แบบเมตริก

การสูญเสียแฝดที่แท้จริงถูกแทนที่ด้วยวัตถุประสงค์ทั่วทั้งกลุ่มมากขึ้น เช่น ความคล้ายคลึงกันหลายจุด พร็อกซีแองเคอร์ และการสูญเสียเชิงเปรียบเทียบ (InfoNCE) ที่เปรียบเทียบหลายคู่ต่อขั้นตอนและมาบรรจบกันเร็วขึ้น วิธีการควบคุมตนเอง เช่น SimCLR แสดงให้เห็นว่าการเรียนรู้แบบเมตริกสามารถทำงานได้โดยไม่ต้องมีป้ายกำกับ โดยถือว่ามุมมองเสริมเป็นผลบวก ในขณะที่ฐานข้อมูลเวกเตอร์และการสร้างแบบดึงข้อมูลที่เพิ่มขึ้นอย่างรวดเร็ว การฝังแบบเรียนรู้ช่วยสนับสนุนการค้นหาความหมายในระดับพันล้านรายการ ดังนั้นแนวคิดหลักเกี่ยวกับระยะทางเท่าความคล้ายคลึงจึงกลายเป็นศูนย์กลางมากขึ้น แม้ว่าสูตร Triplet ที่เฉพาะเจาะจงจะจางหายไปก็ตาม

การใช้งานจริงในโลกแห่งความเป็นจริง

การยืนยันใบหน้าแบบ FaceNet: โทรศัพท์และประตูหนังสือเดินทางยืนยันตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าสองใบอยู่ในเกณฑ์ระยะทางหรือไม่

การค้นหาผลิตภัณฑ์ด้วยภาพ: ไซต์อีคอมเมิร์ซช่วยให้ผู้ซื้ออัปโหลดภาพถ่ายและรับสินค้าที่มีลักษณะคล้ายกันโดยการค้นหาที่ฝังไว้จากเพื่อนบ้านที่ใกล้ที่สุด

การยืนยันผู้พูด: ผู้ช่วยเสียงฝังตัวอย่างเสียงและเปรียบเทียบกับโปรไฟล์ที่ลงทะเบียนเพื่อยืนยันว่าใครกำลังพูด

การตรวจสอบลายเซ็นและลายมือ: ธนาคารฝังลายเซ็นอ้างอิงและแบบสอบถาม และการปลอมแปลงธงเมื่อระยะทางเกินขอบเขตที่เรียนรู้

รูปแบบการดำเนินงาน

การสูญเสีย Triplet และการเรียนรู้แบบเมตริกในทางปฏิบัติ

การยืนยันใบหน้าแบบ FaceNet: โทรศัพท์และประตูหนังสือเดินทางยืนยันตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าสองใบอยู่ในเกณฑ์ระยะทางหรือไม่

การตรวจสอบใบหน้าแบบ FaceNet: โทรศัพท์และประตูหนังสือเดินทางยืนยันตัวตนด้วยการตรวจสอบว่าการฝังใบหน้าสองใบอยู่ภายในเกณฑ์ระยะทางหรือไม่ โดยปกติแล้วทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสูญเสีย Triplet และการเรียนรู้แบบเมตริกในทางปฏิบัติ

การค้นหาผลิตภัณฑ์ด้วยภาพ: ไซต์อีคอมเมิร์ซช่วยให้ผู้ซื้ออัปโหลดภาพถ่ายและรับสินค้าที่มีลักษณะคล้ายกันโดยการค้นหาที่ฝังไว้จากเพื่อนบ้านที่ใกล้ที่สุด

การค้นหาผลิตภัณฑ์ด้วยภาพ: ไซต์อีคอมเมิร์ซช่วยให้ผู้ซื้ออัปโหลดรูปถ่ายและรับสินค้าที่มีลักษณะคล้ายกันโดยการค้นหาที่ฝังไว้โดยเพื่อนบ้านที่ใกล้ที่สุด ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสูญเสีย Triplet และการเรียนรู้แบบเมตริกในทางปฏิบัติ

การยืนยันผู้พูด: ผู้ช่วยเสียงฝังตัวอย่างเสียงและเปรียบเทียบกับโปรไฟล์ที่ลงทะเบียนเพื่อยืนยันว่าใครกำลังพูด

การตรวจสอบวิทยากร: ผู้ช่วยด้านเสียงฝังตัวอย่างเสียงและเปรียบเทียบกับโปรไฟล์ที่ลงทะเบียนเพื่อยืนยันว่าใครกำลังพูด โดยปกติแล้วทีมจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

การสูญเสีย Triplet และการเรียนรู้แบบเมตริกในทางปฏิบัติ

การตรวจสอบลายเซ็นและลายมือ: ธนาคารฝังลายเซ็นอ้างอิงและแบบสอบถาม และการปลอมแปลงธงเมื่อระยะทางเกินขอบเขตที่เรียนรู้

การตรวจสอบลายเซ็นและลายมือ: ธนาคารฝังการอ้างอิงและลายเซ็นแบบสอบถาม และการปลอมธงเมื่อระยะทางเกินระยะขอบที่เรียนรู้ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ

!

เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน

!

การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

แผนงานการดำเนินงาน

1

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เอกสารที่ซึ่ง Triplet Loss และ Metric Learning ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

เอกสารที่ซึ่ง Triplet Loss และ Metric Learning ช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป