คู่มือทางเทคนิค

การฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียด

การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะฝึกฝนโมเดลพื้นฐานโดยมีวัตถุประสงค์โทเค็นถัดไปแบบเดียวกันบนข้อความโดเมนดิบจำนวนมาก ในขณะที่ปรับแต่งการฝึกอย่างละเอียดบนชุดตัวอย่างที่มีป้ายกำกับที่ดูแลจัดการขนาดเล็ก เช่น คู่คำสั่งและการตอบกลับ เพื่อกำหนดรูปแบบพฤติกรรม

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งอย่างละเอียด
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

ตัวเลือกมีความสำคัญเนื่องจากตัวเลือกแรกจะเปลี่ยนสิ่งที่โมเดลรู้เกี่ยวกับโดเมนและภาษาของโมเดลเป็นหลัก ส่วนตัวเลือกที่สองจะเปลี่ยนวิธีตอบสนองเป็นหลัก และข้อมูลและการประมวลผลที่จำเป็นแตกต่างกันอย่างมาก

เจาะลึก

การฝึกล่วงหน้าแบบต่อเนื่อง หรือที่เรียกว่าการฝึกล่วงหน้าแบบปรับตามโดเมน จะดำเนินต่อไปในตำแหน่งที่การฝึกล่วงหน้าแบบเดิมหยุดลง โมเดลจะเห็นข้อความดิบจากโดเมนเป้าหมาย เช่น เอกสารทางการแพทย์ ซอร์สโค้ด หรือเอกสารทางกฎหมาย และเรียนรู้ที่จะคาดการณ์โทเค็นถัดไปทุกประการเหมือนกับในการฝึกอบรมล่วงหน้า Gururangan และเพื่อนร่วมงานแสดงให้เห็นในรายงานปี 2020 เรื่อง Don't Stop Pretraining ว่าการฝึกอบรมล่วงหน้าระยะที่ 2 เกี่ยวกับข้อความในโดเมนช่วยปรับปรุง RoBERTa ในงานด้านชีวการแพทย์ วิทยาการคอมพิวเตอร์ ข่าวสาร และบทวิจารณ์ โดยปกติแล้วจะต้องมีข้อความจำนวนมาก ซึ่งมักจะต้องใช้โทเค็นหลายพันล้านรายการ และการฝึกอบรมแบบเต็มพารามิเตอร์ ดังนั้นจึงมีค่าใช้จ่ายมากกว่าการปรับแต่งอย่างละเอียด การปรับแต่งแบบละเอียด ซึ่งโดยปกติจะมีการดูแลแบบละเอียด จะใช้คู่พร้อมท์และการตอบสนอง โดยทั่วไปการสูญเสียจะคำนวณจากโทเค็นการตอบกลับเท่านั้น ดังนั้นโมเดลจึงเรียนรู้ว่าจะต้องสร้างอะไรเมื่อได้รับอินพุต ชุดข้อมูลมีตั้งแต่ตัวอย่างไม่กี่พันไปจนถึงหลายแสนตัวอย่าง และวิธีการที่มีประสิทธิภาพด้านพารามิเตอร์ เช่น LoRA ทำให้มีราคาไม่แพงสำหรับฮาร์ดแวร์ขนาดเล็ก เก่งทั้งรูปแบบการสอน รูปแบบ พฤติกรรมของงาน และการปฏิบัติตามคำสั่ง วิธีการตั้งค่าเช่น RLHF หรือ DPO มักจะตามมา ไปป์ไลน์ทั่วไปคือโมเดลพื้นฐาน จากนั้นจึงทำการฝึกล่วงหน้าต่อ จากนั้นจึงทำการปรับแต่งแบบละเอียดภายใต้การดูแล จากนั้นจึงปรับการตั้งค่า การฝึกล่วงหน้าอย่างต่อเนื่องมีความเสี่ยง: การลืมแบบหายนะ ซึ่งทักษะทั่วไปเสื่อมถอย เมื่อนำไปใช้กับโมเดลการแชท ยังสามารถกัดกร่อนคำสั่งที่ตามมาได้ ดังนั้นทีมจึงมักจะเริ่มต้นจากโมเดลพื้นฐานและทำซ้ำการปรับแต่งคำสั่งในภายหลัง มีความเข้าใจผิดสองประการที่โดดเด่น ประการแรก การปรับแต่งอย่างละเอียดไม่ใช่วิธีที่เชื่อถือได้ในการเพิ่มข้อเท็จจริงใหม่ๆ มากมาย การวิจัยเช่น Gekhman และเพื่อนร่วมงาน (2024) พบว่าแบบจำลองเรียนรู้ข้อเท็จจริงใหม่อย่างช้าๆ ผ่านการปรับแต่งอย่างละเอียด และการทำเช่นนี้อาจเพิ่มอาการประสาทหลอนได้ สำหรับข้อเท็จจริงที่เปลี่ยนแปลงอย่างรวดเร็ว การดึงข้อมูลมักเป็นเครื่องมือที่ดีกว่า ประการที่สอง บางครั้ง BloombergGPT เรียกว่าเป็นการฝึกอบรมล่วงหน้าอย่างต่อเนื่อง แต่ได้รับการฝึกอบรมตั้งแต่เริ่มต้นโดยใช้ข้อมูลทางการเงินและข้อมูลทั่วไปผสมกัน กฎคร่าวๆ: ใช้การฝึกอบรมล่วงหน้าอย่างต่อเนื่องเมื่อภาษาของโดเมนแตกต่างจากข้อความเว็บอย่างมาก และข้อมูลที่ไม่มีป้ายกำกับนั้นมีอยู่มากมาย ใช้การปรับแต่งแบบละเอียดเมื่อคุณต้องการลักษณะการทำงานหรือรูปแบบ

การใช้งานจริงในโลกแห่งความเป็นจริง

รหัส Llama ถูกสร้างขึ้นโดยฝึกฝน Llama 2 ต่อไปบนคลังโค้ดขนาดใหญ่ และตัวแปรบางตัวได้รับการฝึกอบรมเพิ่มเติมสำหรับ Python และสำหรับคำแนะนำต่อไปนี้

บริษัทเทคโนโลยีด้านกฎหมายซึ่งมีสัญญาและการยื่นเอกสารที่ไม่มีป้ายกำกับหลายล้านฉบับดำเนินการฝึกอบรมล่วงหน้าอย่างต่อเนื่องเพื่อปรับปรุงการจัดการภาษาทางกฎหมายของโมเดล จากนั้นจึงปรับแต่งตัวอย่างการแยกประโยคที่มีคำอธิบายประกอบสองสามพันตัวอย่าง

ธนาคารต้องการแชทบอทที่ตอบในรูปแบบ JSON คงที่พร้อมโทนเสียงที่ตั้งไว้ การปรับแต่งแบบละเอียดภายใต้การดูแล หรือแม้แต่การเตือนอย่างระมัดระวังก็เพียงพอแล้ว เนื่องจากโมเดลรู้เนื้อหาทั่วไปอยู่แล้ว

โมเดล Medtron ของ EPFL ได้ปรับ Llama 2 ให้เข้ากับการแพทย์โดยผ่านการฝึกอบรมล่วงหน้าอย่างต่อเนื่องในเอกสารทางการแพทย์และแนวปฏิบัติทางคลินิก ก่อนที่จะมีการปรับแต่งเฉพาะงานใดๆ

อนาคตของการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งอย่างละเอียด

การเปิดตัวโมเดลฐานเปิดที่มีความสามารถอย่างต่อเนื่องทำให้การฝึกอบรมล่วงหน้าใช้งานได้จริงสำหรับองค์กรจำนวนมากขึ้น แม้ว่าจะยังต้องการข้อมูลและการประมวลผลจำนวนมากก็ตาม การวิจัยเชิงรุกประกอบด้วยการลดการลืม ทำให้การปรับโดเมนถูกลง และการรวมน้ำหนักจากแบบจำลองที่ได้รับการฝึกอบรมแยกกัน ในทางปฏิบัติ หลายทีมจะจับคู่การปรับแต่งแบบเล็กๆ กับการดึงข้อมูล แทนที่จะทำการฝึกอบรมล่วงหน้าเต็มรูปแบบอย่างต่อเนื่อง โดยสงวนตัวเลือกที่หนักกว่าสำหรับโดเมนที่ข้อมูลเว็บทั่วไปครอบคลุมภาษาได้ไม่ดี

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Continued Pretraining vs Fine-Tuning quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การฝึกล่วงหน้าอย่างต่อเนื่องเทียบกับการปรับแต่งอย่างละเอียดคืออะไร?

การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะฝึกฝนโมเดลพื้นฐานโดยมีวัตถุประสงค์โทเค็นถัดไปแบบเดียวกันบนข้อความโดเมนดิบจำนวนมาก ในขณะที่ปรับแต่งการฝึกอย่างละเอียดบนชุดตัวอย่างที่มีป้ายกำกับที่ดูแลจัดการขนาดเล็ก เช่น คู่คำสั่งและการตอบกลับ เพื่อกำหนดรูปแบบพฤติกรรม ตัวเลือกมีความสำคัญเนื่องจากตัวเลือกแรกจะเปลี่ยนสิ่งที่โมเดลรู้เกี่ยวกับโดเมนและภาษาของโมเดลเป็นหลัก ส่วนตัวเลือกที่สองจะเปลี่ยนวิธีตอบสนองเป็นหลัก และข้อมูลและการประมวลผลที่จำเป็นแตกต่างกันอย่างมาก

อะไรคือความแตกต่างระหว่างข้อมูลหลักระหว่างการฝึกล่วงหน้าอย่างต่อเนื่องและการปรับแต่งแบบละเอียดภายใต้การดูแล?

การฝึกอบรมล่วงหน้าอย่างต่อเนื่องจะคาดการณ์โทเค็นถัดไปบนข้อความดิบ ในขณะที่การปรับแต่งอย่างละเอียดจะเรียนรู้จากคู่พร้อมท์และการตอบกลับ

ในการปรับแต่งแบบละเอียดภายใต้การดูแล โดยปกติแล้วการสูญเสียจะคำนวณที่ไหน?

การมาสก์พรอมต์หมายความว่าโมเดลเรียนรู้สิ่งที่ต้องสร้างเมื่อได้รับอินพุต ไม่ใช่เพื่อทำซ้ำอินพุต

การเล่นซ้ำในการฝึกล่วงหน้าอย่างต่อเนื่องคืออะไร?

การรวมข้อมูลทั่วไปช่วยป้องกันไม่ให้ทักษะทั่วไปลดลงในขณะที่โมเดลเรียนรู้โดเมน

รหัส Llama ถูกสร้างขึ้นมาอย่างไร

รหัส Llama เป็นตัวอย่างการฝึกล่วงหน้าอย่างต่อเนื่อง โดยมีตัวแปรบางตัวที่ได้รับการฝึกเพิ่มเติมสำหรับ Python และคำแนะนำ

สำหรับข้อเท็จจริงที่เปลี่ยนแปลงบ่อยครั้ง คู่มือแนะนำว่าแนวทางใดมักจะดีกว่าการปรับแต่งอย่างละเอียด

การปรับแต่งอย่างละเอียดจะเรียนรู้ข้อเท็จจริงใหม่ๆ อย่างช้าๆ และอาจเพิ่มความหลอนได้ ดังนั้นการดึงข้อมูลจึงมักจะดีกว่าสำหรับการเปลี่ยนแปลงข้อมูล

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →