ต่อไปคำแนะนำต่อไป
การปรับแต่งแบบละเอียดเทียบกับ RAG เทียบกับการพร้อมท์
ภาษาเอไอ
คู่มือทางเทคนิค
การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะฝึกฝนโมเดลพื้นฐานโดยมีวัตถุประสงค์โทเค็นถัดไปแบบเดียวกันบนข้อความโดเมนดิบจำนวนมาก ในขณะที่ปรับแต่งการฝึกอย่างละเอียดบนชุดตัวอย่างที่มีป้ายกำกับที่ดูแลจัดการขนาดเล็ก เช่น คู่คำสั่งและการตอบกลับ เพื่อกำหนดรูปแบบพฤติกรรม
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
ตัวเลือกมีความสำคัญเนื่องจากตัวเลือกแรกจะเปลี่ยนสิ่งที่โมเดลรู้เกี่ยวกับโดเมนและภาษาของโมเดลเป็นหลัก ส่วนตัวเลือกที่สองจะเปลี่ยนวิธีตอบสนองเป็นหลัก และข้อมูลและการประมวลผลที่จำเป็นแตกต่างกันอย่างมาก
การฝึกล่วงหน้าแบบต่อเนื่อง หรือที่เรียกว่าการฝึกล่วงหน้าแบบปรับตามโดเมน จะดำเนินต่อไปในตำแหน่งที่การฝึกล่วงหน้าแบบเดิมหยุดลง โมเดลจะเห็นข้อความดิบจากโดเมนเป้าหมาย เช่น เอกสารทางการแพทย์ ซอร์สโค้ด หรือเอกสารทางกฎหมาย และเรียนรู้ที่จะคาดการณ์โทเค็นถัดไปทุกประการเหมือนกับในการฝึกอบรมล่วงหน้า Gururangan และเพื่อนร่วมงานแสดงให้เห็นในรายงานปี 2020 เรื่อง Don't Stop Pretraining ว่าการฝึกอบรมล่วงหน้าระยะที่ 2 เกี่ยวกับข้อความในโดเมนช่วยปรับปรุง RoBERTa ในงานด้านชีวการแพทย์ วิทยาการคอมพิวเตอร์ ข่าวสาร และบทวิจารณ์ โดยปกติแล้วจะต้องมีข้อความจำนวนมาก ซึ่งมักจะต้องใช้โทเค็นหลายพันล้านรายการ และการฝึกอบรมแบบเต็มพารามิเตอร์ ดังนั้นจึงมีค่าใช้จ่ายมากกว่าการปรับแต่งอย่างละเอียด การปรับแต่งแบบละเอียด ซึ่งโดยปกติจะมีการดูแลแบบละเอียด จะใช้คู่พร้อมท์และการตอบสนอง โดยทั่วไปการสูญเสียจะคำนวณจากโทเค็นการตอบกลับเท่านั้น ดังนั้นโมเดลจึงเรียนรู้ว่าจะต้องสร้างอะไรเมื่อได้รับอินพุต ชุดข้อมูลมีตั้งแต่ตัวอย่างไม่กี่พันไปจนถึงหลายแสนตัวอย่าง และวิธีการที่มีประสิทธิภาพด้านพารามิเตอร์ เช่น LoRA ทำให้มีราคาไม่แพงสำหรับฮาร์ดแวร์ขนาดเล็ก เก่งทั้งรูปแบบการสอน รูปแบบ พฤติกรรมของงาน และการปฏิบัติตามคำสั่ง วิธีการตั้งค่าเช่น RLHF หรือ DPO มักจะตามมา ไปป์ไลน์ทั่วไปคือโมเดลพื้นฐาน จากนั้นจึงทำการฝึกล่วงหน้าต่อ จากนั้นจึงทำการปรับแต่งแบบละเอียดภายใต้การดูแล จากนั้นจึงปรับการตั้งค่า การฝึกล่วงหน้าอย่างต่อเนื่องมีความเสี่ยง: การลืมแบบหายนะ ซึ่งทักษะทั่วไปเสื่อมถอย เมื่อนำไปใช้กับโมเดลการแชท ยังสามารถกัดกร่อนคำสั่งที่ตามมาได้ ดังนั้นทีมจึงมักจะเริ่มต้นจากโมเดลพื้นฐานและทำซ้ำการปรับแต่งคำสั่งในภายหลัง มีความเข้าใจผิดสองประการที่โดดเด่น ประการแรก การปรับแต่งอย่างละเอียดไม่ใช่วิธีที่เชื่อถือได้ในการเพิ่มข้อเท็จจริงใหม่ๆ มากมาย การวิจัยเช่น Gekhman และเพื่อนร่วมงาน (2024) พบว่าแบบจำลองเรียนรู้ข้อเท็จจริงใหม่อย่างช้าๆ ผ่านการปรับแต่งอย่างละเอียด และการทำเช่นนี้อาจเพิ่มอาการประสาทหลอนได้ สำหรับข้อเท็จจริงที่เปลี่ยนแปลงอย่างรวดเร็ว การดึงข้อมูลมักเป็นเครื่องมือที่ดีกว่า ประการที่สอง บางครั้ง BloombergGPT เรียกว่าเป็นการฝึกอบรมล่วงหน้าอย่างต่อเนื่อง แต่ได้รับการฝึกอบรมตั้งแต่เริ่มต้นโดยใช้ข้อมูลทางการเงินและข้อมูลทั่วไปผสมกัน กฎคร่าวๆ: ใช้การฝึกอบรมล่วงหน้าอย่างต่อเนื่องเมื่อภาษาของโดเมนแตกต่างจากข้อความเว็บอย่างมาก และข้อมูลที่ไม่มีป้ายกำกับนั้นมีอยู่มากมาย ใช้การปรับแต่งแบบละเอียดเมื่อคุณต้องการลักษณะการทำงานหรือรูปแบบ
รหัส Llama ถูกสร้างขึ้นโดยฝึกฝน Llama 2 ต่อไปบนคลังโค้ดขนาดใหญ่ และตัวแปรบางตัวได้รับการฝึกอบรมเพิ่มเติมสำหรับ Python และสำหรับคำแนะนำต่อไปนี้
บริษัทเทคโนโลยีด้านกฎหมายซึ่งมีสัญญาและการยื่นเอกสารที่ไม่มีป้ายกำกับหลายล้านฉบับดำเนินการฝึกอบรมล่วงหน้าอย่างต่อเนื่องเพื่อปรับปรุงการจัดการภาษาทางกฎหมายของโมเดล จากนั้นจึงปรับแต่งตัวอย่างการแยกประโยคที่มีคำอธิบายประกอบสองสามพันตัวอย่าง
ธนาคารต้องการแชทบอทที่ตอบในรูปแบบ JSON คงที่พร้อมโทนเสียงที่ตั้งไว้ การปรับแต่งแบบละเอียดภายใต้การดูแล หรือแม้แต่การเตือนอย่างระมัดระวังก็เพียงพอแล้ว เนื่องจากโมเดลรู้เนื้อหาทั่วไปอยู่แล้ว
โมเดล Medtron ของ EPFL ได้ปรับ Llama 2 ให้เข้ากับการแพทย์โดยผ่านการฝึกอบรมล่วงหน้าอย่างต่อเนื่องในเอกสารทางการแพทย์และแนวปฏิบัติทางคลินิก ก่อนที่จะมีการปรับแต่งเฉพาะงานใดๆ
การเปิดตัวโมเดลฐานเปิดที่มีความสามารถอย่างต่อเนื่องทำให้การฝึกอบรมล่วงหน้าใช้งานได้จริงสำหรับองค์กรจำนวนมากขึ้น แม้ว่าจะยังต้องการข้อมูลและการประมวลผลจำนวนมากก็ตาม การวิจัยเชิงรุกประกอบด้วยการลดการลืม ทำให้การปรับโดเมนถูกลง และการรวมน้ำหนักจากแบบจำลองที่ได้รับการฝึกอบรมแยกกัน ในทางปฏิบัติ หลายทีมจะจับคู่การปรับแต่งแบบเล็กๆ กับการดึงข้อมูล แทนที่จะทำการฝึกอบรมล่วงหน้าเต็มรูปแบบอย่างต่อเนื่อง โดยสงวนตัวเลือกที่หนักกว่าสำหรับโดเมนที่ข้อมูลเว็บทั่วไปครอบคลุมภาษาได้ไม่ดี
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะฝึกฝนโมเดลพื้นฐานโดยมีวัตถุประสงค์โทเค็นถัดไปแบบเดียวกันบนข้อความโดเมนดิบจำนวนมาก ในขณะที่ปรับแต่งการฝึกอย่างละเอียดบนชุดตัวอย่างที่มีป้ายกำกับที่ดูแลจัดการขนาดเล็ก เช่น คู่คำสั่งและการตอบกลับ เพื่อกำหนดรูปแบบพฤติกรรม ตัวเลือกมีความสำคัญเนื่องจากตัวเลือกแรกจะเปลี่ยนสิ่งที่โมเดลรู้เกี่ยวกับโดเมนและภาษาของโมเดลเป็นหลัก ส่วนตัวเลือกที่สองจะเปลี่ยนวิธีตอบสนองเป็นหลัก และข้อมูลและการประมวลผลที่จำเป็นแตกต่างกันอย่างมาก
การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะคาดการณ์โทเค็นถัดไปบนข้อความดิบ ในขณะที่การปรับแต่งอย่างละเอียดจะเรียนรู้จากคู่พร้อมท์และการตอบกลับ
การมาสก์พรอมต์หมายความว่าโมเดลเรียนรู้สิ่งที่ต้องสร้างเมื่อได้รับอินพุต ไม่ใช่เพื่อทำซ้ำอินพุต
การรวมข้อมูลทั่วไปช่วยป้องกันไม่ให้ทักษะทั่วไปลดลงในขณะที่โมเดลเรียนรู้โดเมน
รหัส Llama เป็นตัวอย่างการฝึกล่วงหน้าอย่างต่อเนื่อง โดยมีตัวแปรบางตัวที่ได้รับการฝึกเพิ่มเติมสำหรับ Python และคำแนะนำ
การปรับแต่งอย่างละเอียดจะเรียนรู้ข้อเท็จจริงใหม่ๆ อย่างช้าๆ และอาจเพิ่มความหลอนได้ ดังนั้นการดึงข้อมูลจึงมักจะดีกว่าสำหรับการเปลี่ยนแปลงข้อมูล
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การปรับแต่งแบบละเอียดเทียบกับ RAG เทียบกับการพร้อมท์
ภาษาเอไอ