แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบพร้อมท์การวางแผนและแก้ไข
ตรวจสอบโครงสร้างพรอมต์ตามแผนแล้วดำเนินการ ข้อผิดพลาดที่กำหนดเป้าหมาย คำแนะนำ PS+ และขีดจำกัดของหลักฐานการวัดประสิทธิภาพ
คำถาม 1 ของ 8
การเปลี่ยนแปลงหลักใดบ้างที่การกระตุ้นแบบ Plan-and-Solve ทำให้เกิดห่วงโซ่แห่งความคิดที่เป็นศูนย์แบบมาตรฐาน
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การเปลี่ยนแปลงหลักใดบ้างที่การกระตุ้นแบบ Plan-and-Solve ทำให้เกิดห่วงโซ่แห่งความคิดที่เป็นศูนย์แบบมาตรฐาน
- อันดับแรกจะขอให้โมเดลวางแผน จากนั้นจึงดำเนินการทีละขั้นตอน
- ช่วยปรับแต่งแบบจำลองในการวางแผนข้อมูล
- มันลบการใช้เหตุผลทีละขั้นตอนโดยสิ้นเชิง
- ต้องมีตัวอย่างการทำงานหลายสิบตัวอย่างในพรอมต์
- จุดอ่อนเฉพาะของห่วงโซ่ความคิดธรรมดาข้อใดที่ Plan-and-Solve ได้รับการออกแบบมาเพื่อแก้ไข
- ความเร็วในการอนุมานช้าและการใช้หน่วยความจำสูง
- ขาดขั้นตอนการให้เหตุผลและข้อผิดพลาดในการคำนวณ
- ผลลัพธ์ที่เป็นพิษหรือเอนเอียง
- ไม่สามารถสร้างเหตุผลใดๆ ได้เลย
- เวอร์ชัน PS+ ที่ปรับปรุงแล้วจะเพิ่มอะไรลงในพรอมต์การวางแผนและแก้ไขพื้นฐาน
- แบบจำลองภาษาที่สองเพื่อให้คะแนนคำตอบ
- เข้าถึง API เครื่องคิดเลข
- คำแนะนำในการแยกตัวแปร คำนวณผลลัพธ์ขั้นกลาง และศึกษาตัวเลข
- ข้อกำหนดในการตอบใน JSON
- ข้อได้เปรียบที่สำคัญของการวางแผนและแก้ไขเหนือกระบวนการคิดแบบต่อเนื่องไม่กี่ครั้งคือ:
- บรรลุความแม่นยำที่สมบูรณ์แบบเสมอ
- จำเป็นต้องมีการฝึกโมเดลใหม่
- ใช้งานได้กับงานการมองเห็นเท่านั้น
- ไม่ต้องการตัวอย่างงานที่สร้างขึ้นด้วยมือในพรอมต์
- เกณฑ์มาตรฐานประเภทใดที่ได้รับการประเมินอย่างเด่นชัดเกี่ยวกับการวางแผนและแก้ไข
- เกณฑ์มาตรฐานทางคณิตศาสตร์และคำ-ปัญหาทางคณิตศาสตร์ เช่น GSM8K
- ชุดข้อมูลการจำแนกประเภทรูปภาพ
- องค์กรการรู้จำเสียง
- งานพับโปรตีน
- เหตุใดการสร้างแผนก่อนขั้นตอนโดยละเอียดจึงมีแนวโน้มที่จะช่วยแบบจำลองการถดถอยอัตโนมัติ
- มันจะลบคำถามเดิมออกจากบริบท
- เป้าหมายย่อยของแผนกำหนดเงื่อนไขโทเค็นการให้เหตุผลในภายหลังที่แบบจำลองสร้างขึ้น
- มันเพิ่มจำนวนพารามิเตอร์ของโมเดลเป็นสองเท่า
- มันเปลี่ยนโมเดลเป็นโหมดที่ไม่ใช่ข้อความ
- A prompt asks a model to list subgoals before solving a word problem. Which Plan-and-Solve stage does that implement?
- A few-shot worked example
- The final answer verification stage
- The planning stage that decomposes the task before execution
- A decoding-time beam search
- A PS+ prompt reminds the model to extract quantities and calculate intermediate results. What is the intent of those reminders?
- Replace the problem statement with demonstrations
- Change the model’s parameters during inference
- Guarantee every answer is correct
- Reduce calculation and step omissions by directing attention to variables and intermediate quantities