การเรียนรู้ด้วยตนเอง
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะฝึกฝนโมเดลข้อมูลที่ไม่มีป้ายกำกับโดยการประดิษฐ์งานที่มีคำตอบซ่อนอยู่ภายในข้อมูลนั้นเอง
ภาพรวม
นี่คือวิธีที่โมเดล Language and Vision Foundation สมัยใหม่เรียนรู้จากอินเทอร์เน็ตดิบโดยไม่มีผู้ติดป้ายมนุษย์จํานวนมาก
เจาะลึก
การติดป้ายกำกับข้อมูลด้วยมือนั้นช้าและมีราคาแพง แต่โลกนี้เต็มไปด้วยข้อความ รูปภาพ เสียง และวิดีโอที่ไม่มีป้ายกำกับ การเรียนรู้แบบมีการดูแลตนเองจะปลดล็อกโดยการสร้าง 'งานข้ออ้าง' โดยที่ข้อมูลจะให้คำตอบในตัวเอง ตัวอย่างคลาสสิกคือการสร้างแบบจำลองภาษามาสก์ ซึ่งใช้โดย BERT: ซ่อนคำบางคำในประโยคและฝึกโมเดลให้คาดเดาคำเหล่านั้นจากบริบท โมเดลสไตล์ GPT ทำนายคำถัดไป ในการมองเห็น วิธีการเปรียบเทียบเช่น SimCLR จะแสดงโมเดลการครอบตัดสองภาพที่มีภาพเดียวกัน และสอนให้โมเดลเห็นว่าภาพทั้งสองเชื่อมโยงกันในขณะที่แยกภาพต่างๆ ออกจากกัน การไขปริศนาที่สร้างขึ้นเองเหล่านี้บังคับให้แบบจำลองต้องสร้างการเป็นตัวแทนความหมายและโครงสร้างภายในที่สมบูรณ์ การแสดงเหล่านั้นจะถ่ายโอนอย่างมีประสิทธิภาพไปยังงานดาวน์สตรีมจริงโดยมีข้อมูลที่มีป้ายกำกับเพียงเล็กน้อยหรือไม่มีเลย
ข้อมูลเชิงลึกทางเทคนิค
เคล็ดลับคือการสร้างสัญญาณการควบคุมดูแลฟรี ในการสร้างแบบจำลองแบบมาสก์ โทเค็นที่ซ่อนอยู่คือป้ายกำกับ ดังนั้นจึงสามารถคำนวณการสูญเสียได้โดยไม่ต้องมีคำอธิบายประกอบจากมนุษย์ ในการเรียนรู้แบบเปรียบเทียบ การเสริมสองภาพจากภาพหนึ่งภาพจะก่อให้เกิด 'คู่ที่เป็นบวก' ซึ่งควรจะนั่งชิดกันในพื้นที่ฝัง ในขณะที่ภาพอื่นๆ จะถูกผลักออกไป 'เชิงลบ' ไม่ว่าจะด้วยวิธีใด โมเดลจะได้รับการปรับปรุงให้เหมาะสมบนฉลากที่ได้มาจากโครงสร้างของข้อมูลเองโดยการเรียนรู้คุณสมบัติทั่วไปซึ่งต่อมาต้องการการปรับแต่งแบบละเอียดเพียงเล็กน้อยเท่านั้น
ผลกระทบเชิงกลยุทธ์
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้
ต้นทุนและงบประมาณ
คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา
ทีมงานและขั้นตอนการทำงาน
ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น
อนาคตของการเรียนรู้ด้วยตนเอง
การเรียนรู้ด้วยตนเองเป็นกลไกเบื้องหลังโมเดลพื้นฐานในปัจจุบัน และบทบาทนั้นจะเติบโตขึ้นเท่านั้น แนวโน้มที่ชัดเจนคือการฝึกล่วงหน้าหลายรูปแบบ โดยที่แบบจำลองเดียวจะเรียนรู้ร่วมกันจากข้อความ รูปภาพ เสียง และวิดีโอโดยใช้วัตถุประสงค์ที่มีการดูแลตนเอง นักวิจัยกำลังผลักดันวิธีการเปรียบเทียบไปสู่แนวทางการทำนายแบบสวมหน้ากากในเทคนิคการมองเห็นและการกลั่นกรองด้วยตนเองที่ไม่จำเป็นต้องมีตัวอย่างเชิงลบ เนื่องจากข้อมูลที่ติดป้ายกำกับคุณภาพสูงกลายเป็นปัญหาคอขวด การเรียนรู้โครงสร้างที่เป็นประโยชน์โดยตรงจากสตรีมที่ไม่มีป้ายกำกับจำนวนมากจะยังคงเป็นกลยุทธ์หลักในการปรับขนาด AI
การใช้งานจริงในโลกแห่งความเป็นจริง
การเรียนรู้ภาษาของ BERT โดยการทำนายคำที่ปกปิดไว้ จากนั้นปรับแต่งการค้นหา ความรู้สึก หรือการตอบคำถาม
SimCLR ฝึกฝนตัวเข้ารหัสรูปภาพล่วงหน้าในรูปภาพที่ไม่มีป้ายกำกับ เพื่อให้สามารถจำแนกประเภทด้วยป้ายกำกับเพียงไม่กี่รายการได้ในภายหลัง
โมเดลสไตล์ GPT การเรียนรู้การเขียนโดยการทำนายโทเค็นถัดไปซ้ำๆ ในกลุ่มข้อความขนาดใหญ่
โมเดลคำพูดที่ได้รับการฝึกล่วงหน้ากับเสียงดิบที่ไม่มีป้ายกำกับ (คาดการณ์ส่วนของเสียงที่สวมหน้ากาก) ก่อนที่จะปรับให้เข้ากับการถอดเสียง
ความเสี่ยงและรั้ว
แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ
เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน
การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง
แผนงานการดำเนินงาน
เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ
เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ
ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม
เอกสารที่การเรียนรู้แบบควบคุมตนเองช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การเรียนรู้ภายใต้การดูแล
คำถามที่พบบ่อย
การเรียนรู้ด้วยตนเองคืออะไร?
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะฝึกฝนโมเดลข้อมูลที่ไม่มีป้ายกำกับโดยการประดิษฐ์งานที่มีคำตอบซ่อนอยู่ภายในข้อมูลนั้นเอง นี่คือวิธีที่โมเดลรากฐานภาษาและวิสัยทัศน์สมัยใหม่เรียนรู้จากอินเทอร์เน็ตดิบโดยไม่ต้องมีกองทัพของผู้ติดฉลากที่เป็นมนุษย์
อะไรทำให้การเรียนรู้ 'มีการดูแลตนเอง'?
การเรียนรู้แบบมีผู้ดูแลด้วยตนเองจะสร้างงานข้ออ้างโดยซ่อนคำตอบไว้ในข้อมูล ดังนั้นจึงไม่จำเป็นต้องติดป้ายกำกับโดยมนุษย์
เหตุใดการเรียนรู้ด้วยตนเองจึงมีคุณค่าสำหรับโมเดลพื้นฐาน
เนื่องจากสัญญาณการควบคุมดูแลมาจากตัวข้อมูลเอง จึงสามารถฝึกแบบจำลองล่วงหน้ากับองค์กรขนาดมหึมาที่ไม่มีป้ายกำกับจากเว็บได้
หลังจากฝึกฝนตนเองแล้ว มักจะเกิดอะไรขึ้นต่อไป?
การฝึกอบรมล่วงหน้าจะสร้างการนำเสนอทั่วไปที่ถ่ายโอนได้ดี ดังนั้นจึงจำเป็นต้องมีการปรับแต่งข้อมูลที่ติดป้ายกำกับเพียงเล็กน้อยเท่านั้นสำหรับงานเฉพาะ
งานดูแลตนเองของโมเดลสไตล์ GPT แตกต่างจากของ BERT อย่างไร
โมเดลสไตล์ GPT ได้รับการฝึกฝนให้ทำนายโทเค็นถัดไปตามลำดับ ในขณะที่ BERT ทำนายโทเค็นที่ปกปิดโดยใช้บริบททั้งซ้ายและขวา