การปรับแต่งคำนำหน้า
การปรับคำนำหน้าเป็นวิธีที่มีประสิทธิภาพในการใช้พารามิเตอร์ในการปรับโมเดลภาษาที่ตรึงไว้โดยการฝึกชุดเวกเตอร์ต่อเนื่องชุดเล็กๆ ที่ได้รับการเติมไว้ข้างหน้าอินพุตของทุกเลเยอร์
ภาพรวม
It lets you customize giant models for new tasks while updating less than 1% of parameters.
เจาะลึก
การปรับคำนำหน้านำโดย Li และ Liang นักวิจัยจาก Stanford ในปี 2021 โดยจะปรับหม้อแปลงที่ได้รับการฝึกมาแล้วโดยไม่ต้องสัมผัสน้ำหนักของหม้อแปลง แทนที่จะปรับแต่งพารามิเตอร์ทั้งหมดอย่างละเอียด ระบบจะเติมลำดับของ 'โทเค็นเสมือน' ที่สามารถฝึกได้ (คำนำหน้า) ไว้ข้างหน้าคีย์และค่าในทุกชั้นความสนใจ โมเดลที่ค้างจะสนใจคำนำหน้านี้ราวกับว่าเป็นบริบทจริง โดยเปลี่ยนทิศทางพฤติกรรมไปสู่งานเป้าหมาย เนื่องจากเรียนรู้เฉพาะเวกเตอร์คำนำหน้า คุณจึงสามารถจัดเก็บคำนำหน้าเล็กๆ หนึ่งคำต่องาน แทนที่จะเก็บสำเนาแบบจำลองแบบเต็มได้ ทำให้การทำงานหลายอย่างมีราคาถูกและหลีกเลี่ยงปัญหาพื้นที่จัดเก็บข้อมูลในการปรับแต่งแบบละเอียดทั้งหมด โดยทำงานได้ดีเป็นพิเศษกับงานการสร้าง เช่น การแปลงตารางเป็นข้อความและการสรุป ซึ่งมักจะเข้ากันกับการปรับแต่งแบบละเอียดเต็มรูปแบบในการตั้งค่าข้อมูลสูง
ข้อมูลเชิงลึกทางเทคนิค
ต่างจากการปรับแต่งแบบพร้อมท์ซึ่งจะเพิ่มเฉพาะเวกเตอร์ที่เลเยอร์การฝังอินพุตเท่านั้น การปรับแต่งคำนำหน้าจะแทรกเวกเตอร์คีย์/ค่าที่ฝึกได้เข้าไปในการเอาใจใส่ตนเองของเลเยอร์หม้อแปลงทุกตัว เพื่อรักษาเสถียรภาพของการฝึก โดยทั่วไปคำนำหน้าจะถูกสร้างขึ้นโดยเครือข่ายฟีดฟอร์เวิร์ดขนาดเล็ก (เคล็ดลับการกำหนดพารามิเตอร์ใหม่) แทนที่จะปรับให้เหมาะสมโดยตรง เครือข่ายนั้นจะถูกละทิ้งหลังการฝึกอบรม เหลือเพียงเมทริกซ์คำนำหน้าที่เรียนรู้เท่านั้น เฉพาะพารามิเตอร์คำนำหน้าเหล่านี้เท่านั้นที่ได้รับการไล่ระดับสี โดยแกนหลักทั้งหมดจะยังคงค้างอยู่
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการปรับแต่งคำนำหน้า
การปรับแต่งคำนำหน้าช่วยเปิดใช้คลื่นการปรับค่าพารามิเตอร์ที่มีประสิทธิภาพ (PEFT) และยังคงเป็นองค์ประกอบสำคัญในไลบรารี เช่น Hugging Face PEFT เมื่อโมเดลพื้นฐานเติบโตขึ้นจนกลายเป็นพารามิเตอร์นับแสนล้าน อะแดปเตอร์น้ำหนักเบา เช่น คำนำหน้า จึงมีความน่าสนใจมากขึ้นสำหรับการให้บริการผู้เช่าหลายรายและการปรับแต่งส่วนบุคคลบนอุปกรณ์ คาดหวังแนวทางไฮบริดอย่างต่อเนื่องที่ผสมผสานคำนำหน้าเข้ากับการอัปเดตระดับต่ำสไตล์ LoRA และการใช้งานที่เพิ่มขึ้นในสไตล์การควบคุม บุคลิก และพฤติกรรมด้านความปลอดภัยโดยไม่ต้องฝึกอบรมโมเดลทั้งหมดใหม่
การใช้งานจริงในโลกแห่งความเป็นจริง
การปรับแกนหลัก GPT-2 ที่แช่แข็งหนึ่งตัวสำหรับการสร้างตารางเป็นข้อความโดยการฝึกคำนำหน้าขนาดเล็กบนชุดข้อมูล WebNLG
ให้บริการรูปแบบการสรุปเฉพาะลูกค้าหลายสิบรูปแบบจากโมเดลที่ใช้ร่วมกันเพียงรูปแบบเดียว โดยแต่ละรูปแบบเป็นไฟล์คำนำหน้าแบบสลับได้
ควบคุมโทนเสียงหรือบุคลิกของโมเดลภาษาสำหรับแชทบอทโดยไม่ต้องฝึกน้ำหนักพื้นฐานใหม่
การปรับโดเมนที่ใช้ข้อมูลน้อย เช่น การสร้างข้อความทางกฎหมายหรือทางการแพทย์ ซึ่งการปรับแต่งแบบละเอียดทั้งหมดอาจไม่เหมาะสม
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prefix Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การปรับแต่งการสุ่มตัวอย่างการปฏิเสธ
คำถามที่พบบ่อย
What is Prefix Tuning?
การปรับคำนำหน้าเป็นวิธีที่มีประสิทธิภาพในการใช้พารามิเตอร์ในการปรับโมเดลภาษาที่ตรึงไว้โดยการฝึกชุดเวกเตอร์ต่อเนื่องชุดเล็กๆ ที่ได้รับการเติมไว้ข้างหน้าอินพุตของทุกเลเยอร์ มันช่วยให้คุณปรับแต่งโมเดลขนาดใหญ่สำหรับงานใหม่ในขณะที่อัปเดตพารามิเตอร์น้อยกว่า 1%
การปรับแต่งคำนำหน้าฝึกอะไรจริงๆ
การปรับแต่งคำนำหน้าจะหยุดแกนหลักและเรียนรู้เพียงชุดเล็กๆ ของเวกเตอร์คำนำหน้าต่อเนื่อง ทำให้มีประสิทธิภาพด้านพารามิเตอร์
เวกเตอร์คำนำหน้าถูกฉีดที่ไหน?
การปรับแต่งคำนำหน้าจะเติมเวกเตอร์คีย์/ค่าที่ฝึกได้ไว้ข้างหน้า โดยที่เลเยอร์หม้อแปลงทุกตัวต้องใส่ใจในตัวเอง ไม่ใช่แค่อินพุตเท่านั้น
ใครเป็นผู้แนะนำการปรับคำนำหน้าและเมื่อใดโดยประมาณ
การปรับคำนำหน้าเสนอโดย Xiang Lisa Li และ Percy Liang ที่ Stanford ในปี 2021
เหตุใดการปรับแต่งคำนำหน้าจึงน่าสนใจสำหรับการทำงานหลายอย่าง
เนื่องจากคำนำหน้าขนาดเล็กเท่านั้นที่เป็นงานเฉพาะ คุณจึงจัดเก็บไฟล์เล็กๆ หนึ่งไฟล์ต่องาน แทนที่จะทำซ้ำทั้งโมเดล
เคล็ดลับใดที่มักใช้เพื่อรักษาเสถียรภาพของการฝึกคำนำหน้า?
MLP ขนาดเล็กจะสร้างคำนำหน้าระหว่างการฝึกเพื่อความเสถียร จากนั้นจึงโยนทิ้งไป เหลือเพียงเมทริกซ์คำนำหน้าที่เรียนรู้เท่านั้น