คู่มือทางเทคนิค

การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy

การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติใช้อัลกอริธึมเพื่อค้นหาคำแนะนำที่ดีกว่าหรือตัวอย่างสั้นๆ

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

โดยจะให้คะแนนผู้สมัครเทียบกับหน่วยเมตริกในชุดตัวอย่าง แทนที่จะอาศัยถ้อยคำที่ปรับแต่งด้วยมือ แนวทางที่รู้จักกันดี ได้แก่ OPRO ของ APE, Google DeepMind และ DSPy ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สจาก Stanford พวกเขาช่วยกันเปลี่ยนวิศวกรรมที่รวดเร็วจากการคาดเดาให้เป็นกระบวนการที่วัดผลได้และทำซ้ำได้

เจาะลึก

ข้อความแจ้งที่ปรับแต่งด้วยมือมีจุดอ่อนที่ทราบอยู่แล้ว การใช้ถ้อยคำที่ใช้ได้กับโมเดล ชุดข้อมูล หรือเวอร์ชันหนึ่งสามารถหยุดทำงานกับอีกโมเดลหนึ่งได้อย่างเงียบๆ และโดยปกติแล้วการเปลี่ยนแปลงจะถูกตัดสินจากตัวอย่างเพียงไม่กี่ตัวอย่างเท่านั้น การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติจะแทนที่ลูปนั้นด้วยการค้นหา คุณให้สามสิ่ง: - งาน - ชุดอินพุต เหมาะอย่างยิ่งกับเอาต์พุตที่คาดหวัง - ตัวชี้วัด เช่น การจับคู่แบบตรงทั้งหมดหรือเกณฑ์การให้คะแนนโดยโมเดลอื่น เครื่องมือเพิ่มประสิทธิภาพจะสร้างการแจ้งเตือนของผู้สมัคร เรียกใช้ ให้คะแนนและเก็บผู้ชนะไว้ ตัวอย่างในช่วงแรกทำให้แนวคิดนี้เป็นรูปธรรม APE (Automatic Prompt Engineer, Zhou et al., 2022) มีแบบจำลองเสนอคำสั่งมากมายจากตัวอย่างอินพุต-เอาท์พุต จากนั้นจึงเก็บคำสั่งที่ได้คะแนนสูงสุดไว้ OPRO (การเพิ่มประสิทธิภาพโดย PROmpting, Yang et al., Google DeepMind, 2023) ใช้ LLM เป็นตัวเพิ่มประสิทธิภาพ เมตาพรอมต์แสดงคำแนะนำก่อนหน้านี้พร้อมคะแนน และแบบจำลองเสนอคำแนะนำใหม่ OPRO พบคำแนะนำ เช่น "หายใจเข้าลึกๆ และแก้ไขปัญหานี้ทีละขั้นตอน" ซึ่งได้คะแนนสูงสำหรับแบบจำลองคณิตศาสตร์ระดับชั้นประถมศึกษาโดยเฉพาะ การใช้ถ้อยคำที่ปรับให้เหมาะสมอาจไม่ใช้งานง่ายและเฉพาะเจาะจงกับโมเดล DSPy ก้าวไปอีกขั้นด้วยการเปลี่ยนวิธีการเขียนโปรแกรม ได้รับการพัฒนาที่ Stanford NLP โดย Omar Khattab และผู้ทำงานร่วมกัน และเปิดตัวในปี 2023 คุณประกาศว่าแต่ละขั้นตอนทำอะไรด้วยลายเซ็น เช่น "คำถาม บริบท -> คำตอบ" และรวมโมดูล เช่น Predict หรือ ChainOfThought เครื่องมือเพิ่มประสิทธิภาพ (ก่อนหน้านี้เรียกว่า teleprompter) เช่น BootstrapFewShot หรือ MIPROv2 จากนั้นจะ "คอมไพล์" โปรแกรมโดยเลือกการสาธิตและคำแนะนำสำหรับแต่ละโมดูลเพื่อเพิ่มการวัดผลของคุณให้สูงสุด ความเข้าใจผิดสามประการที่คุ้มค่าแก่การแก้ไข: - เครื่องมือเหล่านี้ช่วยขจัดวิจารณญาณของมนุษย์ ไม่ได้ เพราะตัวชี้วัดและตัวอย่างกำหนดว่า "ดีกว่า" - ข้อความแจ้งที่ปรับให้เหมาะสมนั้นปลอดภัยและเชื่อถือได้ พวกเขาสามารถ overfit ชุดข้อมูลขนาดเล็กได้ - การเพิ่มประสิทธิภาพฟรี มีค่าใช้จ่ายในการเรียก API จริง ซึ่งบางครั้งก็มาก

การใช้งานจริงในโลกแห่งความเป็นจริง

ทีมที่สร้างตัวแยกประเภทตั๋วสนับสนุนจะเขียนลายเซ็น DSPy "ตั๋ว -> หมวดหมู่" และจัดหาตั๋วที่มีป้ายกำกับ 200 ใบและตัววัดความแม่นยำ เครื่องมือเพิ่มประสิทธิภาพจะเลือกการสาธิตสองสามช็อตที่ทำคะแนนได้ดีที่สุด

เมื่อบริษัทย้ายจากผู้ให้บริการ LLM รายหนึ่งไปยังอีกรายหนึ่ง บริษัทจะรันตัวเพิ่มประสิทธิภาพ DSPy อีกครั้งสำหรับโมเดลใหม่ ไม่มีข้อความแจ้งที่เขียนซ้ำด้วยมือซึ่งปรับให้เหมาะกับรุ่นเก่า

นักวิจัยดำเนินการวนซ้ำแบบ OPRO แบบจำลองหนึ่งเสนอคำศัพท์ใหม่สำหรับการเรียนการสอน แต่ละถ้อยคำจะถูกให้คะแนนตามเกณฑ์มาตรฐานทางคณิตศาสตร์ และประวัติการให้คะแนนที่ดีที่สุดจะกลับเข้าสู่ข้อเสนอรอบถัดไป

ไปป์ไลน์การตอบคำถามเสริมแบบดึงข้อมูลได้รับการปรับให้เหมาะสมตั้งแต่ต้นจนจบ โดยมีหน่วยวัดที่ตรวจสอบคำตอบสุดท้ายเทียบกับคำตอบอ้างอิง ทั้งขั้นตอนการเขียนแบบสอบถามและขั้นตอนการตอบจะปรับปรุงร่วมกัน

อนาคตของการเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy

การเพิ่มประสิทธิภาพทันทีกลายเป็นเรื่องปกติของวิศวกรรม LLM ควบคู่ไปกับชุดการประเมินผล แทนที่จะเป็นความอยากรู้อยากเห็นในการวิจัย คำถามเปิดยังคงอยู่ ข้อความแจ้งที่ได้รับการปรับปรุงให้เหมาะสมจะถ่ายโอนระหว่างรุ่นต่างๆ ได้ดีเพียงใด คุณจะเขียนตัวชี้วัดสำหรับคุณสมบัติเชิงอัตนัย เช่น น้ำเสียงหรือความช่วยเหลือได้อย่างไร คุณจะหลีกเลี่ยงการใส่ชุดข้อมูลขนาดเล็กมากเกินไปได้อย่างไร งานวิจัยบางชิ้นรวมการเพิ่มประสิทธิภาพในทันทีเข้ากับการปรับแต่งแบบละเอียดเล็กน้อย และ DSPy รองรับทั้งสองอย่าง โมเดลมีการเปลี่ยนแปลงบ่อยครั้ง ดังนั้นความสามารถในการปรับให้เหมาะสมอีกครั้งโดยอัตโนมัติกับชุดการทดสอบที่เสถียรจึงมีความสำคัญมากกว่าการแจ้งเตือนอันชาญฉลาดเพียงครั้งเดียว การกำหนดตัวชี้วัดและตัวอย่างที่ดียังคงเป็นงานของมนุษย์

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • ต้นทุนและงบประมาณ. การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
  • การตัดสินใจที่ชัดเจนยิ่งขึ้น. การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
  • การควบคุมคุณภาพ. ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต

ระวัง

  • การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
  • ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
  • ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น

ขั้นตอนต่อไป

  1. กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
  2. เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
  3. การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
  4. เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the Automatic Prompt Optimization and DSPy quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

การเพิ่มประสิทธิภาพพร้อมท์อัตโนมัติและ DSPy คืออะไร?

การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติใช้อัลกอริธึมเพื่อค้นหาคำแนะนำที่ดีกว่าหรือตัวอย่างสั้นๆ โดยจะให้คะแนนผู้สมัครเทียบกับหน่วยเมตริกในชุดตัวอย่าง แทนที่จะอาศัยถ้อยคำที่ปรับแต่งด้วยมือ แนวทางที่รู้จักกันดี ได้แก่ OPRO ของ APE, Google DeepMind และ DSPy ซึ่งเป็นเฟรมเวิร์กโอเพ่นซอร์สจาก Stanford พวกเขาช่วยกันเปลี่ยนวิศวกรรมที่รวดเร็วจากการคาดเดาให้เป็นกระบวนการที่วัดผลได้และทำซ้ำได้

คุณต้องจัดหาอะไรบ้างเพื่อให้การเพิ่มประสิทธิภาพพรอมต์อัตโนมัติทำงานได้

เครื่องมือเพิ่มประสิทธิภาพต้องการงาน ตัวอย่าง และตัวชี้วัด เพื่อให้สามารถให้คะแนนการแจ้งเตือนของผู้สมัครและรักษาสิ่งที่ดีที่สุดไว้ได้

ใน OPRO บทบาทของเครื่องมือเพิ่มประสิทธิภาพมีบทบาทอย่างไร

OPRO ใช้โมเดลภาษาเป็นเครื่องมือเพิ่มประสิทธิภาพ มันเห็นคำแนะนำในอดีตพร้อมคะแนนและเสนอคำแนะนำใหม่

ผลลัพธ์ "หายใจเข้าลึกๆ และแก้ไขปัญหานี้ทีละขั้นตอน" ของ OPRO แสดงให้เห็นอะไร

การเรียนการสอนได้คะแนนดีสำหรับแบบจำลองคณิตศาสตร์ระดับชั้นประถมศึกษาปีหนึ่งโดยเฉพาะ ข้อความที่พบจากการค้นหาอาจทำให้ประหลาดใจและอาจไม่สามารถส่งต่อไปยังรุ่นอื่นๆ ได้

ลายเซ็น DSPy คืออะไร?

ลายเซ็นต์ประกาศว่าโมดูลควรทำอะไรในแง่ของฟิลด์อินพุตและเอาต์พุต DSPy จะดำเนินการตามพรอมต์

BootstrapFewShot ของ DSPy ได้รับการสาธิตอย่างไร

ร่องรอยที่ประสบความสำเร็จกลายเป็นตัวอย่างเล็กๆ น้อยๆ รวมถึงขั้นตอนภายในที่คุณไม่เคยติดป้ายกำกับตัวเองเลย

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →