คู่มือทางเทคนิค
การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy
การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติใช้อัลกอริธึมเพื่อค้นหาคำแนะนำที่ดีกว่าหรือตัวอย่างสั้นๆ
ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min
บนหน้านี้อ่าน 4 นาที
ภาพรวม
โดยจะให้คะแนนผู้สมัครเทียบกับหน่วยเมตริกในชุดตัวอย่าง แทนที่จะอาศัยถ้อยคำที่ปรับแต่งด้วยมือ แนวทางที่รู้จักกันดี ได้แก่ OPRO ของ APE, Google DeepMind และ DSPy ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สจาก Stanford พวกเขาช่วยกันเปลี่ยนวิศวกรรมที่รวดเร็วจากการคาดเดาให้เป็นกระบวนการที่วัดผลได้และทำซ้ำได้
เจาะลึก
ข้อความแจ้งที่ปรับแต่งด้วยมือมีจุดอ่อนที่ทราบอยู่แล้ว การใช้ถ้อยคำที่ใช้ได้กับโมเดล ชุดข้อมูล หรือเวอร์ชันหนึ่งสามารถหยุดทำงานกับอีกโมเดลหนึ่งได้อย่างเงียบๆ และโดยปกติแล้วการเปลี่ยนแปลงจะถูกตัดสินจากตัวอย่างเพียงไม่กี่ตัวอย่างเท่านั้น การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติจะแทนที่ลูปนั้นด้วยการค้นหา คุณให้สามสิ่ง: - งาน - ชุดอินพุต เหมาะอย่างยิ่งกับเอาต์พุตที่คาดหวัง - ตัวชี้วัด เช่น การจับคู่แบบตรงทั้งหมดหรือเกณฑ์การให้คะแนนโดยโมเดลอื่น เครื่องมือเพิ่มประสิทธิภาพจะสร้างการแจ้งเตือนของผู้สมัคร เรียกใช้ ให้คะแนนและเก็บผู้ชนะไว้ ตัวอย่างในช่วงแรกทำให้แนวคิดนี้เป็นรูปธรรม APE (Automatic Prompt Engineer, Zhou et al., 2022) มีแบบจำลองเสนอคำสั่งมากมายจากตัวอย่างอินพุต-เอาท์พุต จากนั้นจึงเก็บคำสั่งที่ได้คะแนนสูงสุดไว้ OPRO (การเพิ่มประสิทธิภาพโดย PROmpting, Yang et al., Google DeepMind, 2023) ใช้ LLM เป็นตัวเพิ่มประสิทธิภาพ เมตาพรอมต์แสดงคำแนะนำก่อนหน้านี้พร้อมคะแนน และแบบจำลองเสนอคำแนะนำใหม่ OPRO พบคำแนะนำ เช่น "หายใจเข้าลึกๆ และแก้ไขปัญหานี้ทีละขั้นตอน" ซึ่งได้คะแนนสูงสำหรับแบบจำลองคณิตศาสตร์ระดับชั้นประถมศึกษาโดยเฉพาะ การใช้ถ้อยคำที่ปรับให้เหมาะสมอาจไม่ใช้งานง่ายและเฉพาะเจาะจงกับโมเดล DSPy ก้าวไปอีกขั้นด้วยการเปลี่ยนวิธีการเขียนโปรแกรม ได้รับการพัฒนาที่ Stanford NLP โดย Omar Khattab และผู้ทำงานร่วมกัน และเปิดตัวในปี 2023 คุณประกาศว่าแต่ละขั้นตอนทำอะไรด้วยลายเซ็น เช่น "คำถาม บริบท -> คำตอบ" และรวมโมดูล เช่น Predict หรือ ChainOfThought เครื่องมือเพิ่มประสิทธิภาพ (ก่อนหน้านี้เรียกว่า teleprompter) เช่น BootstrapFewShot หรือ MIPROv2 จากนั้นจะ "คอมไพล์" โปรแกรมโดยเลือกการสาธิตและคำแนะนำสำหรับแต่ละโมดูลเพื่อเพิ่มการวัดผลของคุณให้สูงสุด ความเข้าใจผิดสามประการที่คุ้มค่าแก่การแก้ไข: - เครื่องมือเหล่านี้ช่วยขจัดวิจารณญาณของมนุษย์ ไม่ได้ เพราะตัวชี้วัดและตัวอย่างกำหนดว่า "ดีกว่า" - ข้อความแจ้งที่ปรับให้เหมาะสมนั้นปลอดภัยและเชื่อถือได้ พวกเขาสามารถ overfit ชุดข้อมูลขนาดเล็กได้ - การเพิ่มประสิทธิภาพฟรี มีค่าใช้จ่ายในการเรียก API จริง ซึ่งบางครั้งก็มาก
การใช้งานจริงในโลกแห่งความเป็นจริง
ทีมที่สร้างตัวแยกประเภทตั๋วสนับสนุนจะเขียนลายเซ็น DSPy "ตั๋ว -> หมวดหมู่" และจัดหาตั๋วที่มีป้ายกำกับ 200 ใบและตัววัดความแม่นยำ เครื่องมือเพิ่มประสิทธิภาพจะเลือกการสาธิตสองสามช็อตที่ทำคะแนนได้ดีที่สุด
เมื่อบริษัทย้ายจากผู้ให้บริการ LLM รายหนึ่งไปยังอีกรายหนึ่ง บริษัทจะรันตัวเพิ่มประสิทธิภาพ DSPy อีกครั้งสำหรับโมเดลใหม่ ไม่มีข้อความแจ้งที่เขียนซ้ำด้วยมือซึ่งปรับให้เหมาะกับรุ่นเก่า
นักวิจัยดำเนินการวนซ้ำแบบ OPRO แบบจำลองหนึ่งเสนอคำศัพท์ใหม่สำหรับการเรียนการสอน แต่ละถ้อยคำจะถูกให้คะแนนตามเกณฑ์มาตรฐานทางคณิตศาสตร์ และประวัติการให้คะแนนที่ดีที่สุดจะกลับเข้าสู่ข้อเสนอรอบถัดไป
ไปป์ไลน์การตอบคำถามเสริมแบบดึงข้อมูลได้รับการปรับให้เหมาะสมตั้งแต่ต้นจนจบ โดยมีหน่วยวัดที่ตรวจสอบคำตอบสุดท้ายเทียบกับคำตอบอ้างอิง ทั้งขั้นตอนการเขียนแบบสอบถามและขั้นตอนการตอบจะปรับปรุงร่วมกัน
อนาคตของการเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy
การเพิ่มประสิทธิภาพทันทีกลายเป็นเรื่องปกติของวิศวกรรม LLM ควบคู่ไปกับชุดการประเมินผล แทนที่จะเป็นความอยากรู้อยากเห็นในการวิจัย คำถามเปิดยังคงอยู่ ข้อความแจ้งที่ได้รับการปรับปรุงให้เหมาะสมจะถ่ายโอนระหว่างรุ่นต่างๆ ได้ดีเพียงใด คุณจะเขียนตัวชี้วัดสำหรับคุณสมบัติเชิงอัตนัย เช่น น้ำเสียงหรือความช่วยเหลือได้อย่างไร คุณจะหลีกเลี่ยงการใส่ชุดข้อมูลขนาดเล็กมากเกินไปได้อย่างไร งานวิจัยบางชิ้นรวมการเพิ่มประสิทธิภาพในทันทีเข้ากับการปรับแต่งแบบละเอียดเล็กน้อย และ DSPy รองรับทั้งสองอย่าง โมเดลมีการเปลี่ยนแปลงบ่อยครั้ง ดังนั้นความสามารถในการปรับให้เหมาะสมอีกครั้งโดยอัตโนมัติกับชุดการทดสอบที่เสถียรจึงมีความสำคัญมากกว่าการแจ้งเตือนอันชาญฉลาดเพียงครั้งเดียว การกำหนดตัวชี้วัดและตัวอย่างที่ดียังคงเป็นงานของมนุษย์
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
- การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
- การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
ระวัง
- การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
- ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
- ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
ขั้นตอนต่อไป
- กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
- เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
- การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
- เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
Take the Automatic Prompt Optimization and DSPy quiz
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy คืออะไร?
การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติใช้อัลกอริธึมเพื่อค้นหาคำแนะนำที่ดีกว่าหรือตัวอย่างสั้นๆ โดยจะให้คะแนนผู้สมัครเทียบกับหน่วยเมตริกในชุดตัวอย่าง แทนที่จะอาศัยถ้อยคำที่ปรับแต่งด้วยมือ แนวทางที่รู้จักกันดี ได้แก่ OPRO ของ APE, Google DeepMind และ DSPy ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สจาก Stanford พวกเขาช่วยกันเปลี่ยนวิศวกรรมที่รวดเร็วจากการคาดเดาให้เป็นกระบวนการที่วัดผลได้และทำซ้ำได้
คุณต้องจัดหาอะไรบ้างเพื่อให้การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติทำงานได้
เครื่องมือเพิ่มประสิทธิภาพต้องการงาน ตัวอย่าง และตัวชี้วัด เพื่อให้สามารถให้คะแนนการแจ้งเตือนของผู้สมัครและรักษาสิ่งที่ดีที่สุดไว้ได้
ใน OPRO บทบาทของเครื่องมือเพิ่มประสิทธิภาพมีบทบาทอย่างไร
OPRO ใช้โมเดลภาษาเป็นเครื่องมือเพิ่มประสิทธิภาพ มันเห็นคำแนะนำในอดีตพร้อมคะแนนและเสนอคำแนะนำใหม่
ผลลัพธ์ "หายใจเข้าลึกๆ และแก้ไขปัญหานี้ทีละขั้นตอน" ของ OPRO แสดงให้เห็นอะไร
การเรียนการสอนได้คะแนนดีสำหรับแบบจำลองคณิตศาสตร์ระดับชั้นประถมศึกษาปีหนึ่งโดยเฉพาะ ข้อความที่พบจากการค้นหาอาจทำให้ประหลาดใจและอาจไม่สามารถส่งต่อไปยังรุ่นอื่นๆ ได้
ลายเซ็น DSPy คืออะไร?
ลายเซ็นต์ประกาศว่าโมดูลควรทำอะไรในแง่ของฟิลด์อินพุตและเอาต์พุต DSPy จะดำเนินการตามพรอมต์
BootstrapFewShot ของ DSPy ได้รับการสาธิตอย่างไร
ร่องรอยที่ประสบความสำเร็จกลายเป็นตัวอย่างเล็กๆ น้อยๆ รวมถึงขั้นตอนภายในที่คุณไม่เคยติดป้ายกำกับตัวเองเลย
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้