คู่มือพื้นฐาน

การเรียนรู้หลักสูตร

การเรียนรู้ตามหลักสูตรจะฝึกฝนโมเดล AI บนตัวอย่างตามลำดับที่ตั้งใจ ง่ายก่อน ยากทีหลัง แทนที่จะป้อนข้อมูลตามลำดับแบบสุ่ม

ภาพรวม

การเรียนรู้ตามหลักสูตรจะฝึกฝนโมเดล AI บนตัวอย่างตามลำดับที่ตั้งใจ ง่ายก่อน ยากทีหลัง แทนที่จะป้อนข้อมูลตามลำดับแบบสุ่ม มันสะท้อนวิธีการสอนของโรงเรียน: เก่งเลขคณิตก่อนแคลคูลัส และแบบจำลองมักจะเรียนรู้ได้เร็วกว่าและสรุปได้ดีกว่า

การเรียนรู้ตามหลักสูตรอยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น

เจาะลึก

การเรียนรู้ตามหลักสูตรจัดทำขึ้นในรายงานปี 2009 โดย Yoshua Bengio และเพื่อนร่วมงาน โดยจัดการฝึกอบรมเพื่อให้แบบจำลองเห็นตัวอย่างที่เรียบง่ายกว่าและคลุมเครือน้อยกว่าก่อนตัวอย่างที่ยากกว่า สัญชาตญาณคือตัวอย่างง่ายๆ ในช่วงต้นจะกำหนดพารามิเตอร์เริ่มต้นที่ดีและแนวการสูญเสียให้ราบรื่น ช่วยให้เครื่องมือเพิ่มประสิทธิภาพหลีกเลี่ยงค่าต่ำสุดในพื้นที่ที่ไม่ดี 'ความยาก' สามารถกำหนดได้ด้วยมือ (ประโยคสั้นๆ ก่อนประโยคยาว) โดยใช้การศึกษาพฤติกรรม (ความชัดเจนของภาพ ระดับเสียง) หรือเรียนรู้โดยอัตโนมัติ ตัวแปรต่างๆ ได้แก่ การเรียนรู้ด้วยตนเอง โดยที่ตัวแบบจะให้คะแนนว่าตัวอย่างใดบ้างที่พร้อมสำหรับ และแนวทางต่อต้านหลักสูตร (เน้นหนักก่อน) ซึ่งบางครั้งก็ช่วยได้ ผลกระทบของหลักสูตรจะแข็งแกร่งที่สุดเมื่อมีข้อมูลที่จำกัดหรือการเพิ่มประสิทธิภาพอย่างหนัก ด้วยข้อมูลจำนวนมหาศาลและเครื่องมือเพิ่มประสิทธิภาพที่ทันสมัย ​​ประโยชน์ต่างๆ อาจลดลงหรือหายไปได้

ข้อมูลเชิงลึกทางเทคนิค

กลไกการเรียนรู้ตามหลักสูตรจะมีน้ำหนักหรือจัดลำดับการกระจายการฝึกอบรมใหม่เมื่อเวลาผ่านไป การใช้งานทั่วไปจะใช้ฟังก์ชันการกำหนดจังหวะซึ่งจะค่อยๆ เพิ่มกลุ่มตัวอย่างที่เข้าเกณฑ์จากง่ายที่สุดไปหายากที่สุดเมื่อการฝึกอบรมดำเนินไป สิ่งนี้ทำหน้าที่เป็นรูปแบบหนึ่งของวิธีการต่อเนื่อง: คุณปรับวัตถุประสงค์ให้เรียบและง่ายขึ้นก่อน จากนั้นจึงหลอมเข้าหาวัตถุประสงค์ที่แท้จริงและยากกว่า การเรียนรู้ด้วยตนเองทำให้สิ่งนี้เป็นระเบียบโดยการเพิ่มตัวทำให้สม่ำเสมอซึ่งช่วยให้โมเดลเลือกตัวอย่างที่สูญเสียต่ำ (ง่าย) ได้ตั้งแต่เนิ่นๆ และยอมรับตัวอย่างที่ยากกว่าเมื่อเกณฑ์ที่ปรับได้ผ่อนคลายลง

การเรียนรู้หลักสูตรการเรียนรู้

การเรียนรู้ตามหลักสูตรจะฝึกฝนโมเดล AI บนตัวอย่างตามลำดับที่ตั้งใจ ง่ายก่อน ยากทีหลัง แทนที่จะป้อนข้อมูลตามลำดับแบบสุ่ม มันสะท้อนวิธีการสอนของโรงเรียน: เก่งเลขคณิตก่อนแคลคูลัส และแบบจำลองมักจะเรียนรู้ได้เร็วกว่าและสรุปได้ดีกว่า การเรียนรู้ตามหลักสูตรอยู่ในชุดเครื่องมือ AI หลัก เมื่อคุณเข้าใจ หัวข้อ AI อื่นๆ จะประเมินและเปรียบเทียบได้ง่ายขึ้น เพื่อสร้างความเข้าใจอย่างลึกซึ้ง ให้ถือว่าการเรียนรู้ตามหลักสูตรเป็นรูปแบบการดำเนินงาน ไม่ใช่คุณลักษณะเดียว: กำหนดผลลัพธ์ที่ต้องการ ชี้แจงสมมติฐาน และแยกสิ่งที่ระบบสามารถทำได้อย่างน่าเชื่อถือจากสิ่งที่ยังต้องใช้วิจารณญาณจากผู้เชี่ยวชาญ

ในทางปฏิบัติ ทีมที่แข็งแกร่งที่ใช้ Curriculum Learning จะสร้างโมเดลเชิงแนวคิดที่แข็งแกร่งก่อน จากนั้นจึงจับคู่โมเดลเหล่านั้นกับข้อจำกัดในการผลิตจริง โดยจะบันทึกเกณฑ์ความสำเร็จที่ชัดเจน ทดสอบกับข้อมูลและขั้นตอนการทำงานที่สมจริง และทำซ้ำตามรูปแบบความล้มเหลวที่สังเกตได้ แทนที่จะชนะการวัดประสิทธิภาพเพียงครั้งเดียว นี่คือจุดที่ความเข้าใจทางทฤษฎีกลายเป็นความสามารถที่คงทนของผลิตภัณฑ์ นโยบาย และการดำเนินงาน

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในเวลาเดียวกัน ทีมต่างๆ อาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ แนวทางที่ยืดหยุ่นที่สุดคือการรวมความเร็วของการทดลองเข้ากับวินัยในการกำกับดูแล: ดำเนินการนำร่อง จับหลักฐาน เผยแพร่บันทึกการตัดสินใจ และอัปเดตการป้องกันอย่างต่อเนื่องเมื่อพฤติกรรมของโมเดล ความคาดหวังของผู้ใช้ และข้อกำหนดด้านกฎระเบียบมีการเปลี่ยนแปลง

ผลกระทบเชิงกลยุทธ์

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้

ช่วยให้คุณแยกคำกล่าวอ้างทางเทคนิคที่ชัดเจนออกจากภาษาทางการตลาดได้ ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา

คุณสามารถถามคำถามการใช้งานที่ดีขึ้นก่อนที่จะใช้เงินหรือเวลา ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น

ทีมที่มีความเข้าใจร่วมกันจะตัดสินใจเกี่ยวกับผลิตภัณฑ์ นโยบาย และการเรียนรู้ได้ดีขึ้น ในการปรับใช้คุณภาพสูง สิ่งนี้จะถูกแปลเป็นกฎการปฏิบัติงานที่วัดผลได้ ขอบเขตความเป็นเจ้าของ และขั้นตอนการตรวจสอบที่เกิดซ้ำ เพื่อให้ทีมสามารถปรับขนาดความมั่นใจแทนที่จะปรับขนาดความคลุมเครือ

อนาคตของการเรียนรู้หลักสูตร

แนวคิดเกี่ยวกับหลักสูตรกำลังฟื้นคืนชีพในการฝึกอบรมโมเดลภาษาขนาดใหญ่ ซึ่งการเรียงลำดับข้อมูล การกำหนดเวลาแบบผสม และการสุ่มตัวอย่างโดยคำนึงถึงความยากลำบาก ส่งผลต่อประสิทธิภาพที่วัดผลได้ การเรียนรู้แบบเสริมกำลังจากข้อเสนอแนะและการให้เหตุผลของมนุษย์มีการใช้หลักสูตรแบบเป็นขั้นตอนมากขึ้นเรื่อยๆ ซึ่งเป็นงานง่ายๆ ก่อนแบบหลายขั้นตอน ความยากที่ตัดสินด้วยแบบจำลองโดยอัตโนมัติ (ให้แบบจำลองหนึ่งให้คะแนนตัวอย่างสำหรับอีกแบบจำลองหนึ่ง) และหลักสูตรแบบไดนามิกที่ปรับการฝึกอบรมระดับกลางเป็นพื้นที่การวิจัยที่กระตือรือร้น คาดหวังการผสานรวมที่เข้มงวดยิ่งขึ้นกับการกรองคุณภาพข้อมูลและการสร้างข้อมูลสังเคราะห์ โดยที่หลักสูตรจะถูกสร้างขึ้นทันทีเพื่อกำหนดเป้าหมายจุดอ่อนของโมเดลในปัจจุบัน

การใช้งานจริงในโลกแห่งความเป็นจริง

ระบบรู้จำคำพูดที่ได้รับการฝึกให้พูดช้าชัดเจน ก่อนที่จะมีเสียงดัง เน้นเสียง หรือเร็ว เพื่อรักษาเสถียรภาพการเรียนรู้ตั้งแต่เนิ่นๆ

แบบจำลองการแปลด้วยเครื่องจะป้อนคู่ประโยคสั้นและง่ายก่อน จากนั้นจึงขยายประโยคให้ยาวขึ้นและมีสำนวนมากขึ้น

ตัวแทนการเรียนรู้แบบเสริมกำลังการเล่นเกมที่เริ่มต้นในระดับง่าย ๆ หรือกำหนดเป้าหมายย่อยก่อนที่จะเผชิญหน้ากับเกมที่ให้รางวัลเต็มจำนวน

การปรับแต่ง LLM ทางคณิตศาสตร์และการใช้เหตุผลโดยละเอียดซึ่งจัดกำหนดการปัญหาในขั้นตอนเดียวก่อนการเชื่อมโยงหลายขั้นตอนเพื่อสร้างการให้เหตุผลที่เชื่อถือได้

รูปแบบการดำเนินงาน

หลักสูตรการเรียนรู้ภาคปฏิบัติ

ระบบรู้จำคำพูดที่ได้รับการฝึกให้พูดช้าชัดเจน ก่อนที่จะมีเสียงดัง เน้นเสียง หรือเร็ว เพื่อรักษาเสถียรภาพการเรียนรู้ตั้งแต่เนิ่นๆ

ระบบการรู้จำคำพูดที่ได้รับการฝึกอบรมเกี่ยวกับคำพูดที่ชัดเจนและช้าก่อนที่จะมีเสียงรบกวน เน้นเสียง หรือเสียงที่รวดเร็ว เพื่อรักษาเสถียรภาพการเรียนรู้ตั้งแต่เนิ่นๆ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

หลักสูตรการเรียนรู้ภาคปฏิบัติ

แบบจำลองการแปลด้วยเครื่องจะป้อนคู่ประโยคสั้นและง่ายก่อน จากนั้นจึงขยายประโยคให้ยาวขึ้นและมีสำนวนมากขึ้น

แบบจำลองการแปลด้วยเครื่องป้อนคู่ประโยคสั้นและง่ายก่อน จากนั้นค่อย ๆ ยาวขึ้นและมีประโยคที่ใช้สำนวนมากขึ้น ทีมมักจะได้รับผลลัพธ์ที่ดีขึ้นเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

หลักสูตรการเรียนรู้ภาคปฏิบัติ

ตัวแทนการเรียนรู้แบบเสริมกำลังการเล่นเกมที่เริ่มต้นในระดับง่าย ๆ หรือกำหนดเป้าหมายย่อยก่อนที่จะเผชิญหน้ากับเกมที่ให้รางวัลเต็มจำนวน

ตัวแทนการเรียนรู้การเสริมกำลังการเล่นเกมที่เริ่มต้นในระดับง่าย ๆ หรือกำหนดเป้าหมายย่อยก่อนที่จะเผชิญหน้ากับเกมเต็มรูปแบบที่ให้รางวัลน้อย ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

หลักสูตรการเรียนรู้ภาคปฏิบัติ

การปรับแต่ง LLM ทางคณิตศาสตร์และการใช้เหตุผลโดยละเอียดซึ่งจัดกำหนดการปัญหาในขั้นตอนเดียวก่อนการเชื่อมโยงหลายขั้นตอนเพื่อสร้างการให้เหตุผลที่เชื่อถือได้

การปรับแต่ง LLM ทางคณิตศาสตร์และการใช้เหตุผลอย่างละเอียดซึ่งจัดกำหนดการปัญหาในขั้นตอนเดียวก่อนห่วงโซ่หลายขั้นตอนเพื่อสร้างการให้เหตุผลที่เชื่อถือได้ ทีมมักจะได้รับผลลัพธ์ที่ดีกว่าเมื่อพวกเขากำหนดเกณฑ์คุณภาพล่วงหน้า รักษาเส้นทางการยกระดับโดยมนุษย์สำหรับกรณี Edge และติดตามทั้งประสิทธิภาพการทำงานที่เพิ่มขึ้นและต้นทุนข้อผิดพลาดเมื่อเวลาผ่านไป

ความเสี่ยงและรั้ว

!

แต่ละทีมอาจใช้คำเดียวกันต่างกัน ดังนั้นควรกำหนดขอบเขตตั้งแต่เนิ่นๆ

!

เกณฑ์มาตรฐานอาจดูแข็งแกร่งในขณะที่ประสิทธิภาพในโลกแห่งความเป็นจริงไม่เท่ากัน

!

การเพิกเฉยต่อคุณภาพข้อมูลและแผนการประเมินมักสร้างผลลัพธ์ที่เปราะบาง

แผนงานการดำเนินงาน

1

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ

เริ่มต้นด้วยคำจำกัดความภาษาธรรมดาของผลลัพธ์ที่คุณต้องการ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

2

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ

เลือกเมตริกวัดความสำเร็จหนึ่งรายการและเงื่อนไขความล้มเหลวหนึ่งรายการก่อนการทดสอบ ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

3

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม

ดำเนินการนำร่องขนาดเล็กด้วยข้อมูลตัวแทน ไม่ใช่ชุดสาธิตที่สวยงาม ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

4

เอกสารที่การเรียนรู้ตามหลักสูตรช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า

เอกสารที่การเรียนรู้ตามหลักสูตรช่วยได้ และวิธีที่ง่ายกว่าจะดีกว่า ถือว่าแต่ละขั้นตอนเป็นเหมือนประตูหลักฐาน: หากไม่ตรงตามเกณฑ์ ให้หยุดการเปิดตัวชั่วคราว ปิดช่องว่าง จากนั้นจึงขยายการใช้งานเท่านั้น

สำรวจต่อไป