การปรับแต่งพร้อมท์
การปรับแต่งพร้อมท์จะปรับโมเดลภาษาที่แช่แข็งโดยการเรียนรู้เวกเตอร์ 'soft prompt' จำนวนหนึ่งอย่างต่อเนื่องซึ่งเติมไว้ข้างหน้าอินพุต แทนที่จะเขียนคำด้วยมือ
ภาพรวม
มันเป็นหนึ่งในวิธีที่น้อยที่สุดในการสร้างโมเดลขนาดยักษ์โดยเฉพาะ และจะดีขึ้นเมื่อโมเดลมีขนาดใหญ่ขึ้น
เจาะลึก
การปรับแต่งคำนำหน้าซึ่งแนะนำโดยนักวิจัย Google Lester, Al-Rfou และ Constant ในปี 2021 เป็นการปรับแต่งคำนำหน้าที่ง่ายที่สุด แทนที่จะสร้างพรอมต์ข้อความด้วยตนเอง คุณจะหยุดทั้งโมเดลและเรียนรู้เมทริกซ์ขนาดเล็กของการฝังอย่างต่อเนื่อง—'ซอฟต์พรอมต์'—ที่เติมไว้ล่วงหน้าที่เลเยอร์อินพุตเท่านั้น การไล่ระดับสีจะปรับแต่งเวกเตอร์เหล่านี้เพื่อโน้มน้าวพฤติกรรมที่เหมาะสมสำหรับงาน การค้นพบที่น่าทึ่ง: เนื่องจากโมเดลพื้นฐานปรับขนาดตามพารามิเตอร์นับพันล้าน การปรับแต่งแบบทันทีจะปิดช่องว่างด้วยการปรับแต่งแบบละเอียดเต็มรูปแบบ และในที่สุดก็จะจับคู่กับการวัดประสิทธิภาพ เช่น SuperGLUE แต่ละงานต้องการเพียง soft prompt ของตัวเอง (ซึ่งมักมีพารามิเตอร์ไม่กี่พันพารามิเตอร์) ดังนั้นโมเดลที่แช่แข็งเพียงตัวเดียวจึงสามารถให้บริการได้หลายอย่างในคราวเดียว ผู้เขียนตีกรอบสิ่งนี้ว่าเป็น "พลังแห่งขนาดสำหรับการปรับแต่งพร้อมท์ที่มีประสิทธิภาพตามพารามิเตอร์"
ข้อมูลเชิงลึกทางเทคนิค
Soft Prompt ไม่ใช่คำจริง แต่เป็นเวกเตอร์ที่ลอยอย่างอิสระในพื้นที่ฝังซึ่งไม่จำเป็นต้องสอดคล้องกับโทเค็นใดๆ ในคำศัพท์ พวกมันจะถูกเพิ่มเฉพาะที่เลเยอร์การฝังอินพุตเท่านั้น (ต่างจากการปรับแต่งคำนำหน้าซึ่งแทรกเข้าไปในทุกเลเยอร์) ทำให้การปรับแต่งที่รวดเร็วยิ่งขึ้น เนื่องจากโมเดลถูกแช่แข็ง การไล่ระดับสีจึงไหลย้อนกลับไปยังการฝังแบบ soft-prompt เท่านั้น การเริ่มต้น ความยาวที่แจ้ง และขนาดของแบบจำลองล้วนส่งผลกระทบอย่างมากต่อคุณภาพ
ผลกระทบเชิงกลยุทธ์
ความเร็วและขนาด
ขั้นตอนการทำงานของภาษาสามารถดำเนินไปได้เร็วขึ้นโดยไม่กระทบต่อความสม่ำเสมอ
เข้าถึงและเข้าถึง
ขยายการเข้าถึงภาษาและรูปแบบการสื่อสาร
การตัดสินใจที่ชัดเจนยิ่งขึ้น
ทีมสามารถใช้เวลามากขึ้นในการตัดสิน ในขณะที่ระบบอัตโนมัติจัดการกับการทำซ้ำ
อนาคตของการปรับแต่งพร้อมท์
การปรับแต่งแบบทันทีทำให้แนวคิดนี้แพร่หลายมากขึ้นว่า คุณสามารถบังคับโมเดลฐานรากที่แข็งตัวด้วยสัญญาณการเรียนรู้เล็กๆ น้อยๆ และเป็นส่วนสนับสนุนชุดเครื่องมือ PEFT ในปัจจุบันส่วนใหญ่ ในขณะที่โมเดลขยายขนาดไปเรื่อยๆ เอฟเฟกต์การปิดช่องว่างทำให้ซอฟต์พรอมต์น่าสนใจสำหรับการปรับใช้หลายงานในราคาถูก การวิจัยกำลังขยายแนวคิดในการถ่ายโอนข้อความแจ้งที่เรียนรู้ได้ข้ามงานและแบบจำลอง ผสมผสานกับการดึงข้อมูล และใช้เพื่อสร้างรุ่นที่ควบคุมได้และปลอดภัยยิ่งขึ้น คาดว่า soft prompts จะยังคงเป็นตัวเลือกราคาประหยัดควบคู่ไปกับ LoRA และอะแดปเตอร์
การใช้งานจริงในโลกแห่งความเป็นจริง
เชี่ยวชาญโมเดล T5 แบบแช่แข็งหนึ่งรุ่นสำหรับงาน SuperGLUE จำนวนมาก โดยจัดเก็บ soft prompt แยกต่างหากสำหรับแต่ละงาน
ปรับใช้โมเดลขนาดใหญ่เพียงตัวเดียวกับลูกค้าจำนวนมากในราคาถูก โดยแต่ละโมเดลมีพร้อมท์การเรียนรู้ของตนเอง
การควบคุมความรู้สึกหรือพฤติกรรมการจำแนกประเภทโดยไม่ต้องใช้ถ้อยคำทางวิศวกรรมด้วยตนเอง
การถ่ายโอนพร้อมท์แบบนุ่มนวล: ฝึกอบรมพร้อมต์ล่วงหน้าในงานหนึ่งเพื่อเริ่มการเรียนรู้งานที่เกี่ยวข้องกัน
ความเสี่ยงและรั้ว
ข้อเท็จจริงที่หลอนประสาทสามารถเข้าสู่รายงาน กระแสสนับสนุน หรือผลการวิจัยได้อย่างเงียบๆ
ความละเอียดอ่อนของการแจ้งเตือนสามารถสร้างผลลัพธ์ที่ไม่สอดคล้องกันในคำขอที่คล้ายกัน
ข้อมูลข้อความที่ละเอียดอ่อนอาจถูกเปิดเผยหากการควบคุมการเข้าถึงอ่อนแอ
แผนงานการดำเนินงาน
กำหนดรูปแบบเอาต์พุต โทนเสียง และมาตรฐานคุณภาพก่อนเปิดตัว
การตอบสนองภาคพื้นดินกับแหล่งข้อมูลที่เชื่อถือได้เมื่อใดก็ตามที่ความแม่นยำมีความสำคัญ
รักษาจุดตรวจสอบการตรวจสอบโดยมนุษย์สำหรับผลลัพธ์ที่มีเดิมพันสูง
ติดตามรูปแบบความล้มเหลวและฝึกอบรมพร้อมท์หรือเวิร์กโฟลว์เป็นประจำ
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
Prompt Engineering
คำถามที่พบบ่อย
การปรับแต่งพร้อมท์คืออะไร?
การปรับแต่งพร้อมท์จะปรับโมเดลภาษาที่แช่แข็งโดยการเรียนรู้เวกเตอร์ 'soft prompt' จำนวนหนึ่งอย่างต่อเนื่องซึ่งเติมไว้ข้างหน้าอินพุต แทนที่จะเขียนคำด้วยมือ มันเป็นหนึ่งในวิธีที่น้อยที่สุดในการสร้างโมเดลขนาดยักษ์โดยเฉพาะ และจะดีขึ้นเมื่อโมเดลมีขนาดใหญ่ขึ้น
'soft prompt' ในการปรับพร้อมท์คืออะไร?
Soft Prompt เป็นเวกเตอร์ต่อเนื่องที่สามารถฝึกได้ในพื้นที่ฝัง ไม่ใช่คำที่มนุษย์สามารถอ่านได้
การปรับแต่งแบบพร้อมท์จะเพิ่มเวกเตอร์ที่สามารถฝึกได้ที่ไหน?
การปรับพร้อมต์จะใส่ซอฟต์พรอมต์ไว้ข้างหน้าเฉพาะที่อินพุต ซึ่งทำให้เบากว่าการปรับคำนำหน้า
บทความต้นฉบับเน้นถึงผลกระทบที่น่าประหลาดใจเกี่ยวกับขนาดของแบบจำลองอย่างไร
ชื่อเรื่องของรายงานเน้นย้ำถึง 'พลังแห่งขนาด': โมเดลที่ใหญ่กว่าช่วยให้ปรับแต่งได้รวดเร็วเทียบเท่ากับการปรับแต่งแบบละเอียดทั้งหมด
ใครเป็นคนแนะนำการปรับจูนแบบทันที?
Brian Lester, Rami Al-Rfou และ Noah Constant ที่ Google ตีพิมพ์รายงานการปรับแต่งโดยทันทีในปี 2021
การปรับแต่งพร้อมท์ช่วยให้สามารถให้บริการงานต่างๆ จากโมเดลเดียวได้อย่างไร
มีเพียงซอฟต์พรอมต์เล็กๆ เท่านั้นที่เป็นงานเฉพาะ ดังนั้นโมเดลที่ค้างอยู่หนึ่งโมเดลจึงสามารถโฮสต์งานต่างๆ มากมายได้ด้วยการสลับพรอมต์