คู่มือพื้นฐาน

ฟังก์ชั่นการสูญเสีย

ฟังก์ชันการสูญเสียคือตัวเลขตัวเดียวที่บอกแบบจำลองว่าการคาดการณ์ของมันผิดเพียงใด โดยเปลี่ยนเป้าหมายที่คลุมเครือเป็นสิ่งที่คณิตศาสตร์สามารถปรับให้เหมาะสมได้

ภาพรวม

ฟังก์ชันการสูญเสียคือตัวเลขตัวเดียวที่บอกแบบจำลองว่าการคาดการณ์ของมันผิดเพียงใด โดยเปลี่ยนเป้าหมายที่คลุมเครือเป็นสิ่งที่คณิตศาสตร์สามารถปรับให้เหมาะสมได้ การเลือกรูปร่างการสูญเสียที่เหมาะสมกับสิ่งที่โมเดลเรียนรู้จริง

Loss Functions อยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น

เจาะลึก

โมเดลที่ผ่านการฝึกอบรมทุกตัวจำเป็นต้องมีคำจำกัดความที่ชัดเจนของความล้มเหลว และนั่นคือสิ่งที่ฟังก์ชันการสูญเสียมอบให้ โดยจะเปรียบเทียบการทำนายของแบบจำลองกับคำตอบที่แท้จริง แล้วให้ผลลัพธ์เป็นตัวเลข: สูงหมายถึงแย่ลง การฝึกอบรมจึงเป็นกระบวนการลดจำนวนนี้ให้เหลือน้อยที่สุด ทางเลือกของการสูญเสียไม่ใช่เรื่องเครื่องสำอาง สำหรับงานการถดถอย ข้อผิดพลาดกำลังสองเฉลี่ยจะลงโทษข้อผิดพลาดขนาดใหญ่อย่างมากโดยการยกกำลังสองส่วนต่าง ในขณะที่ข้อผิดพลาดเฉลี่ยสัมบูรณ์จะถือว่าข้อผิดพลาดทั้งหมดเท่าเทียมกันมากขึ้นและต่อต้านค่าผิดปกติ สำหรับการจำแนกประเภท การสูญเสียเอนโทรปีข้ามจะวัดว่าการแจกแจงความน่าจะเป็นที่คาดการณ์ไว้นั้นอยู่ห่างจากป้ายกำกับที่แท้จริงเพียงใด และลงโทษคำตอบที่มั่นใจผิดอย่างรุนแรง การเลือกการสูญเสียที่ไม่ตรงกับเป้าหมายของคุณสามารถทำให้แบบจำลองเพิ่มประสิทธิภาพทางเทคนิคให้กับสิ่งที่ผิดได้ ดังนั้นฟังก์ชันการสูญเสียจะเข้ารหัสสิ่งที่คุณสนใจได้อย่างมีประสิทธิภาพ

ข้อมูลเชิงลึกทางเทคนิค

Cross-entropy ซึ่งเป็นแนวทางในการจำแนกประเภทได้มาจากทฤษฎีสารสนเทศ โดยจะวัดบิตพิเศษที่จำเป็นในการเข้ารหัสป้ายกำกับที่แท้จริงโดยใช้ความน่าจะเป็นที่คาดการณ์ไว้ของแบบจำลอง เนื่องจากมีการเติบโตอย่างรวดเร็วเมื่อการคาดการณ์ที่มั่นใจเกิดความผิดพลาด การไล่ระดับสีจึงผลักดันแบบจำลองอย่างหนักเพื่อแก้ไขข้อผิดพลาดที่มั่นใจมากเกินไป ฟังก์ชันการสูญเสียจะต้องสร้างความแตกต่างได้ (หรือเกือบเป็นเช่นนั้น) เนื่องจากการถ่ายทอดกลับจำเป็นต้องมีการไล่ระดับสี ข้อกำหนดนั้นเป็นเหตุผลว่าทำไมจึงใช้ตัวแทนที่ราบรื่นแทนการวัดดิบที่ไม่สามารถแยกความแตกต่างได้ เช่น ความแม่นยำ

การเรียนรู้ฟังก์ชันการสูญเสีย

ฟังก์ชันการสูญเสียคือตัวเลขตัวเดียวที่บอกแบบจำลองว่าการคาดการณ์ของมันผิดเพียงใด โดยเปลี่ยนเป้าหมายที่คลุมเครือเป็นสิ่งที่คณิตศาสตร์สามารถปรับให้เหมาะสมได้ การเลือกรูปร่างการสูญเสียที่เหมาะสมกับสิ่งที่โมเดลเรียนรู้จริง Loss Functions อยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่า Loss Functions เป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Loss Functions จะสร้างโมเดลเชิงแนวคิดที่แข็งแกร่งก่อน จากนั้นจึงจับคู่โมเดลเหล่านั้นกับข้อจำกัดในการผลิตจริง โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในเวลาเดียวกัน ทีมต่างๆ อาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของฟังก์ชันการสูญเสีย

การออกแบบฟังก์ชั่นการสูญเสียนั้นเพิ่มมากขึ้นเมื่อมีพฤติกรรมของ AI สมัยใหม่เกิดขึ้น นอกเหนือจากเอนโทรปีข้ามมาตรฐานแล้ว เทคนิคต่างๆ เช่น การปรับฉลากให้เรียบ การสูญเสียโฟกัสสำหรับข้อมูลที่ไม่สมดุล และการสูญเสียเชิงเปรียบเทียบสำหรับการเรียนรู้การเป็นตัวแทน กลายเป็นเรื่องปกติไปแล้ว ในแบบจำลองที่ใช้ภาษาขนาดใหญ่ วัตถุประสงค์การฝึกอบรมและแบบจำลองการให้รางวัลแบบเสริมการเรียนรู้จากผลตอบรับได้รับการออกแบบทางวิศวกรรมอย่างรอบคอบเพื่อลดการสูญเสียซึ่งควบคุมน้ำเสียง ความช่วยเหลือ และความปลอดภัย คาดหวังการเติบโตอย่างต่อเนื่องของการสูญเสียแบบกำหนดเองและแบบผสมที่ผสมผสานหลายวัตถุประสงค์ เนื่องจากเป็นหนึ่งในเครื่องมือที่ตรงที่สุดสำหรับการควบคุมคุณค่าของโมเดล

การใช้งานจริงในโลกแห่งความเป็นจริง

การใช้การสูญเสียเอนโทรปีข้ามเพื่อฝึกตัวแยกประเภทสแปมอีเมลที่จะลงโทษการจัดประเภทที่ไม่ถูกต้องอย่างมั่นใจ

การเลือกค่าเฉลี่ยความคลาดเคลื่อนสัมบูรณ์สำหรับการทำนายราคาบ้าน ดังนั้นคฤหาสน์สุดโต่งบางแห่งจึงไม่ครอบงำการฝึกอบรม

การใช้การลดความเปรียบต่างเพื่อให้โมเดลการจดจำใบหน้าดึงภาพของบุคคลคนเดียวกันมารวมกัน

ออกแบบโครงสร้างการสูญเสียโมเดลรางวัลเพื่อนำทางแชทบอทไปสู่การตอบกลับที่เป็นประโยชน์และตรงไปตรงมามากขึ้น

รูปแบบการดำเนินงาน

ฟังก์ชั่นการสูญเสียในทางปฏิบัติ

การใช้การสูญเสียเอนโทรปีข้ามเพื่อฝึกตัวแยกประเภทสแปมอีเมลที่จะลงโทษการจัดประเภทที่ไม่ถูกต้องอย่างมั่นใจ

การใช้การสูญเสียเอนโทรปีข้ามเพื่อฝึกตัวแยกประเภทสแปมอีเมลที่ลงโทษการจัดประเภทที่ไม่ถูกต้อง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ฟังก์ชั่นการสูญเสียในทางปฏิบัติ

การเลือกค่าเฉลี่ยความคลาดเคลื่อนสัมบูรณ์สำหรับการทำนายราคาบ้าน ดังนั้นคฤหาสน์สุดโต่งบางแห่งจึงไม่ครอบงำการฝึกอบรม

การเลือกค่าเฉลี่ยข้อผิดพลาดสัมบูรณ์สำหรับการทำนายราคาบ้าน ดังนั้นคฤหาสน์สุดโต่งบางแห่งจะไม่ครอบงำการฝึกอบรม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งการเพิ่มผลผลิตและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ฟังก์ชั่นการสูญเสียในทางปฏิบัติ

การใช้การลดความเปรียบต่างเพื่อให้โมเดลการจดจำใบหน้าดึงภาพของบุคคลคนเดียวกันมารวมกัน

การใช้การสูญเสียแบบเปรียบเทียบเพื่อให้โมเดลการจดจำใบหน้าดึงรูปภาพของบุคคลคนเดียวกันมารวมกัน ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ฟังก์ชั่นการสูญเสียในทางปฏิบัติ

ออกแบบโครงสร้างการสูญเสียโมเดลรางวัลเพื่อนำทางแชทบอทไปสู่การตอบกลับที่เป็นประโยชน์และตรงไปตรงมามากขึ้น

ออกแบบการสูญเสียโมเดลรางวัลเพื่อนำทางแชทบอตไปสู่การตอบสนองที่เป็นประโยชน์และตรงไปตรงมามากขึ้น ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ

!

เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน

!

การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

แผนงานการดำเนินงาน

1

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เอกสารที่ฟังก์ชันการสูญเสียช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

เอกสารที่ฟังก์ชันการสูญเสียช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป