การวางแผนและแก้ไขพร้อมท์
Plan-and-Solve (PS) prompting เป็นการบอกโมเดลภาษาให้วางแผนอย่างชัดเจนก่อน จากนั้นจึงดำเนินการทีละขั้นตอน เพื่อแก้ไขความล้มเหลวที่การแจ้งเตือนแบบธรรมดา 'ลองคิดดูทีละขั้นตอน' ทิ้งไว้ข้างหลัง
ภาพรวม
It is a simple prompt tweak that meaningfully boosts multi-step reasoning without any extra training.
เจาะลึก
เปิดตัวในรายงาน ACL ปี 2023 โดย Lei Wang และเพื่อนร่วมงาน การกระตุ้นแบบวางแผนและแก้ไขเป็นการตอบสนองต่อจุดอ่อนเฉพาะในห่วงโซ่แห่งความคิดแบบ Zero-shot: โมเดลมักจะข้ามขั้นตอน คำนวณผิด หรืออ่านคำถามผิด PS แทนที่คำสั่งเดียว 'ลองคิดทีละขั้นตอน' ด้วยคำสั่งสองส่วน: 'ก่อนอื่นมาทำความเข้าใจปัญหาและวางแผนเพื่อแก้ไข จากนั้นมาดำเนินการตามแผนและแก้ไขปัญหาทีละขั้นตอน' รูปแบบที่ปรับปรุงแล้ว PS+ เพิ่มการเตือนเพื่อแยกตัวแปรที่เกี่ยวข้อง คำนวณผลลัพธ์ขั้นกลาง และให้ความสนใจกับตัวเลข ในการวัดประสิทธิภาพ เช่น GSM8K และ SVAMP นั้น PS+ ปิดช่องว่างได้มากด้วยกระบวนการคิดแบบต่อเนื่องเพียงไม่กี่ขั้นตอน โดยไม่จำเป็นต้องมีตัวอย่างที่ใช้งานได้จริงในข้อความแจ้ง
ข้อมูลเชิงลึกทางเทคนิค
กลไกนี้เป็นไปตามพร้อมท์เท่านั้น โดยขอแผนก่อนดำเนินการ PS จะเปลี่ยนการสร้างแบบถดถอยอัตโนมัติของแบบจำลอง ดังนั้นมันจึงสร้างเป้าหมายย่อยระดับสูงก่อน ซึ่งจากนั้นจะกำหนดเงื่อนไขโทเค็นการให้เหตุผลโดยละเอียดที่ตามมา การแยกนี้ช่วยลด 'ขั้นตอนที่ขาดหายไป' และข้อผิดพลาดในการคำนวณ PS+ ดึงความสนใจเพิ่มเติมด้วยการตั้งชื่อตัวแปรและปริมาณขั้นกลางอย่างชัดเจน โดยทำหน้าที่เป็นโครงสร้างที่สร้างขึ้นเอง แทนที่จะอาศัยตัวอย่างที่เขียนด้วยลายมือ
ผลกระทบเชิงกลยุทธ์
ต้นทุนและงบประมาณ
การตัดสินใจด้านสถาปัตยกรรมขับเคลื่อนประสิทธิภาพและต้นทุนการดำเนินงานเป็นเวลาหลายปี
การตัดสินใจที่ชัดเจนยิ่งขึ้น
การศึกษาด้านเทคนิคช่วยให้ทีมเลือกกลุ่มที่เหมาะสม ไม่ใช่แค่กลุ่มใหม่ล่าสุด
การควบคุมคุณภาพ
ตัวเลือกทางวิศวกรรมที่ดีกว่าจะช่วยลดเหตุการณ์ด้านความน่าเชื่อถือในการผลิต
อนาคตของการเตือนแบบวางแผนและแก้ไข
ขณะนี้การคิดเชิงวางแผนและแก้ปัญหาถูกรวมไว้ในกรอบงานของตัวแทนและแบบจำลอง 'การใช้เหตุผล' ที่แยกการวางแผนออกจากการดำเนินการโดยกำเนิด คาดว่าจะได้รับพร้อมท์การวางแผนให้ผสานกับการใช้เครื่องมือ การยืนยันตัวเอง และวิธีการค้นหาแบบต้นไม้ และกลายเป็นพฤติกรรมเริ่มต้นภายในในโมเดลที่ได้รับการฝึกด้วยเหตุผล แทนที่จะเป็นพรอมต์ด้วยตนเอง บทเรียนสุดท้ายก็คือการแยกย่อยงานก่อนลงมือทำคือสิ่งที่ได้รับจากความน่าเชื่อถือที่ราคาถูกและสามารถถ่ายทอดได้ในวงกว้าง
การใช้งานจริงในโลกแห่งความเป็นจริง
การแก้ปัญหาคำศัพท์ทางคณิตศาสตร์ในโรงเรียนประถมหลายขั้นตอน (GSM8K) โดยที่แบบจำลองจะแสดงปริมาณเป็นอันดับแรก จากนั้นจึงคำนวณตามลำดับ
ให้คำแนะนำผู้ช่วยเขียนโค้ดเพื่อร่างฟังก์ชันและกรณี Edge ก่อนที่จะเขียนโค้ดการใช้งานใดๆ
การจัดโครงสร้างตัวแทนฝ่ายสนับสนุนลูกค้าเพื่อระบุเป้าหมายพื้นฐานของผู้ใช้ก่อน จากนั้นจึงจัดลำดับขั้นตอนการแก้ปัญหา
แบ่งคำขอการวิเคราะห์ข้อมูลที่ซับซ้อนออกเป็น 'วางแผนการสืบค้น' ตามด้วยระยะ 'เรียกใช้และรวมผลลัพธ์'
ความเสี่ยงและรั้ว
การเพิ่มประสิทธิภาพเกณฑ์มาตรฐานหนึ่งรายการสามารถซ่อนจุดอ่อนของระบบในวงกว้างได้
ต้นทุนโครงสร้างพื้นฐานและการบำรุงรักษามักถูกประเมินต่ำไป
ช่องว่างด้านความปลอดภัยและความสามารถในการสังเกตสามารถเพิ่มขึ้นได้เมื่อระบบมีความซับซ้อนมากขึ้น
แผนงานการดำเนินงาน
กำหนดเป้าหมายเวลาแฝง คุณภาพ และต้นทุนก่อนนำไปใช้งาน
เกณฑ์มาตรฐานภายใต้สภาวะโหลดและข้อมูลจริง
การตรวจสอบเครื่องมือเพื่อหาข้อผิดพลาด การเบี่ยงเบน และผลกระทบต่อผู้ใช้
เตรียมเส้นทางการย้อนกลับและการตอบสนองต่อเหตุการณ์ก่อนปรับขนาด
สำรวจต่อไป
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Plan-and-Solve Prompting quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
คำแนะนำต่อไป
การกระตุ้นเตือนน้อยที่สุดไปมากที่สุด
คำถามที่พบบ่อย
What is Plan-and-Solve Prompting?
Plan-and-Solve (PS) prompting เป็นการบอกโมเดลภาษาให้วางแผนอย่างชัดเจนก่อน จากนั้นจึงดำเนินการทีละขั้นตอน เพื่อแก้ไขความล้มเหลวที่การแจ้งเตือนแบบธรรมดา 'ลองคิดดูทีละขั้นตอน' ทิ้งไว้เบื้องหลัง เป็นการปรับแต่งพร้อมท์ง่ายๆ ที่ช่วยเพิ่มการใช้เหตุผลหลายขั้นตอนอย่างมีความหมายโดยไม่ต้องมีการฝึกอบรมเพิ่มเติมใดๆ
การเปลี่ยนแปลงหลักใดบ้างที่การกระตุ้นแบบ Plan-and-Solve ทำให้เกิดห่วงโซ่แห่งความคิดที่เป็นศูนย์แบบมาตรฐาน
PS prompt จะแบ่งคำสั่งออกเป็นการวางแผน จากนั้นจึงดำเนินการทีละขั้นตอน แทนที่จะเป็นบรรทัดเดียว 'มาคิดทีละขั้นตอน'
จุดอ่อนเฉพาะของห่วงโซ่ความคิดธรรมดาข้อใดที่ Plan-and-Solve ได้รับการออกแบบมาเพื่อแก้ไข
ผู้เขียนกำหนดเป้าหมายข้อผิดพลาดที่ขาดหายไปและข้อผิดพลาดทางคณิตศาสตร์/การคำนวณที่มักเกิดห่วงโซ่แห่งความคิดแบบศูนย์ช็อต
เวอร์ชัน PS+ ที่ปรับปรุงแล้วจะเพิ่มอะไรลงในพรอมต์การวางแผนและแก้ไขพื้นฐาน
PS+ เพิ่มการแจ้งเตือนโดยละเอียดเพื่อแยกตัวแปรที่เกี่ยวข้อง คำนวณผลลัพธ์ระดับกลาง และใส่ใจกับตัวเลข เพื่อเพิ่มความคมชัดให้กับโครงร่างที่สร้างขึ้นเอง
เกณฑ์มาตรฐานประเภทใดที่ได้รับการประเมินอย่างเด่นชัดเกี่ยวกับการวางแผนและแก้ไข
PS และ PS+ ได้รับการทดสอบบนเกณฑ์มาตรฐานการใช้เหตุผลทางคณิตศาสตร์ เช่น GSM8K และ SVAMP ท่ามกลางชุดข้อมูลการใช้เหตุผลอื่นๆ
เหตุใดการสร้างแผนก่อนขั้นตอนโดยละเอียดจึงมีแนวโน้มที่จะช่วยแบบจำลองการถดถอยอัตโนมัติ
เนื่องจากการสร้างเป็นแบบถดถอยอัตโนมัติ โทเค็นแผนระดับสูงจึงกลายเป็นบริบทที่แนะนำการให้เหตุผลทีละขั้นตอนในภายหลัง เพื่อลดขั้นตอนที่ข้าม