ภาพรวม
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะฝึกฝนโมเดลข้อมูลที่ไม่มีป้ายกำกับโดยการประดิษฐ์งานที่มีคำตอบซ่อนอยู่ภายในข้อมูลนั้นเอง นี่คือวิธีที่โมเดลรากฐานภาษาและวิสัยทัศน์สมัยใหม่เรียนรู้จากอินเทอร์เน็ตดิบโดยไม่ต้องมีกองทัพของผู้ติดป้ายกำกับที่เป็นมนุษย์
การเรียนรู้แบบมีการดูแลตนเองถือเป็นชุดเครื่องมือหลักของ AI เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น
เจาะลึก
การติดป้ายกำกับข้อมูลด้วยมือนั้นช้าและมีราคาแพง แต่โลกนี้เต็มไปด้วยข้อความ รูปภาพ เสียง และวิดีโอที่ไม่มีป้ายกำกับ การเรียนรู้แบบมีการดูแลตนเองจะปลดล็อกโดยการสร้าง 'งานข้ออ้าง' โดยที่ข้อมูลจะให้คำตอบในตัวเอง ตัวอย่างคลาสสิกคือการสร้างแบบจำลองภาษามาสก์ ซึ่งใช้โดย BERT: ซ่อนคำบางคำในประโยคและฝึกโมเดลให้คาดเดาคำเหล่านั้นจากบริบท โมเดลสไตล์ GPT ทำนายคำถัดไป ในการมองเห็น วิธีการเปรียบเทียบเช่น SimCLR จะแสดงโมเดลการครอบตัดสองภาพที่มีภาพเดียวกัน และสอนให้โมเดลเห็นว่าภาพทั้งสองเชื่อมโยงกันในขณะที่แยกภาพต่างๆ ออกจากกัน การไขปริศนาที่สร้างขึ้นเองเหล่านี้บังคับให้แบบจำลองต้องสร้างการเป็นตัวแทนความหมายและโครงสร้างภายในที่สมบูรณ์ การแสดงเหล่านั้นจะถ่ายโอนอย่างมีประสิทธิภาพไปยังงานดาวน์สตรีมจริงโดยมีข้อมูลที่มีป้ายกำกับเพียงเล็กน้อยหรือไม่มีเลย
ข้อมูลเชิงลึกทางเทคนิค
เคล็ดลับคือการสร้างสัญญาณการควบคุมดูแลฟรี ในการสร้างแบบจำลองแบบมาสก์ โทเค็นที่ซ่อนอยู่คือป้ายกำกับ ดังนั้นจึงสามารถคำนวณการสูญเสียได้โดยไม่ต้องมีคำอธิบายประกอบจากมนุษย์ ในการเรียนรู้แบบเปรียบเทียบ การเสริมสองภาพจากภาพหนึ่งภาพจะก่อให้เกิด 'คู่ที่เป็นบวก' ซึ่งควรจะนั่งชิดกันในพื้นที่ฝัง ในขณะที่ภาพอื่นๆ จะถูกผลักออกไป 'เชิงลบ' ไม่ว่าจะด้วยวิธีใด โมเดลจะได้รับการปรับปรุงให้เหมาะสมบนฉลากที่ได้มาจากโครงสร้างของข้อมูลเองโดยการเรียนรู้คุณสมบัติทั่วไปซึ่งต่อมาต้องการการปรับแต่งแบบละเอียดเพียงเล็กน้อยเท่านั้น
การเรียนรู้แบบมีการดูแลตนเองอย่างเชี่ยวชาญ
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะฝึกฝนโมเดลข้อมูลที่ไม่มีป้ายกำกับโดยการประดิษฐ์งานที่มีคำตอบซ่อนอยู่ภายในข้อมูลนั้นเอง นี่คือวิธีที่โมเดลรากฐานภาษาและวิสัยทัศน์สมัยใหม่เรียนรู้จากอินเทอร์เน็ตดิบโดยไม่ต้องมีกองทัพของผู้ติดป้ายกำกับที่เป็นมนุษย์ การเรียนรู้แบบมีการดูแลตนเองถือเป็นชุดเครื่องมือหลักของ AI เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าการเรียนรู้ด้วยตนเองเป็นแบบปฏิบัติการ ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ
ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้การเรียนรู้แบบควบคุมตนเองจะสร้างแบบจำลองแนวความคิดที่แข็งแกร่งก่อน จากนั้นจึงแมปแบบจำลองเหล่านั้นกับข้อจำกัดในการผลิตจริง โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในเวลาเดียวกัน ทีมต่างๆ อาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง
ผลกระทบเชิงกลยุทธ์
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ
การใช้งานจริงในโลกแห่งความเป็นจริง
การเรียนรู้ภาษาของ BERT โดยการทำนายคำที่ปกปิดไว้ จากนั้นปรับแต่งการค้นหา ความรู้สึก หรือการตอบคำถาม
SimCLR ฝึกฝนตัวเข้ารหัสรูปภาพล่วงหน้าในรูปภาพที่ไม่มีป้ายกำกับ เพื่อให้สามารถจำแนกประเภทด้วยป้ายกำกับเพียงไม่กี่รายการได้ในภายหลัง
โมเดลสไตล์ GPT การเรียนรู้การเขียนโดยการทำนายโทเค็นถัดไปซ้ำๆ ในกลุ่มข้อความขนาดใหญ่
โมเดลคำพูดที่ได้รับการฝึกล่วงหน้ากับเสียงดิบที่ไม่มีป้ายกำกับ (คาดการณ์ส่วนของเสียงที่สวมหน้ากาก) ก่อนที่จะปรับให้เข้ากับการถอดเสียง
รูปแบบการดำเนินงาน
การเรียนรู้ด้วยตนเองในทางปฏิบัติ
การเรียนรู้ภาษาของ BERT โดยการทำนายคำที่ปกปิดไว้ จากนั้นปรับแต่งการค้นหา ความรู้สึก หรือการตอบคำถาม
การเรียนรู้ภาษาของ BERT โดยการทำนายคำที่ปกปิดไว้ จากนั้นปรับแต่งการค้นหา ความรู้สึก หรือการตอบคำถาม ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การเรียนรู้ด้วยตนเองในทางปฏิบัติ
SimCLR ฝึกฝนตัวเข้ารหัสรูปภาพล่วงหน้าในรูปภาพที่ไม่มีป้ายกำกับ เพื่อให้สามารถจำแนกประเภทด้วยป้ายกำกับเพียงไม่กี่รายการได้ในภายหลัง
SimCLR ฝึกอบรมตัวเข้ารหัสรูปภาพล่วงหน้าบนภาพถ่ายที่ไม่มีป้ายกำกับ เพื่อให้สามารถจำแนกประเภทด้วยป้ายกำกับเพียงไม่กี่รายการในภายหลัง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การเรียนรู้ด้วยตนเองในทางปฏิบัติ
โมเดลสไตล์ GPT การเรียนรู้การเขียนโดยการทำนายโทเค็นถัดไปซ้ำๆ ในกลุ่มข้อความขนาดใหญ่
โมเดลสไตล์ GPT การเรียนรู้ที่จะเขียนโดยการทำนายโทเค็นถัดไปซ้ำๆ ในกลุ่มข้อความขนาดใหญ่ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
การเรียนรู้ด้วยตนเองในทางปฏิบัติ
โมเดลคำพูดที่ได้รับการฝึกล่วงหน้ากับเสียงดิบที่ไม่มีป้ายกำกับ (คาดการณ์ส่วนของเสียงที่สวมหน้ากาก) ก่อนที่จะปรับให้เข้ากับการถอดเสียง
โมเดลคำพูดที่ฝึกไว้ล่วงหน้ากับเสียงดิบที่ไม่มีป้ายกำกับ (คาดการณ์ส่วนของเสียงที่สวมหน้ากาก) ก่อนที่จะปรับให้เข้ากับการถอดเสียง ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น
เอกสารที่การเรียนรู้แบบควบคุมตนเองช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
เอกสารที่การเรียนรู้แบบควบคุมตนเองช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น