แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบพร้อมท์การวางแผนและแก้ไข

ตรวจสอบโครงสร้างพรอมต์ตามแผนแล้วดำเนินการ ข้อผิดพลาดที่กำหนดเป้าหมาย คำแนะนำ PS+ และขีดจำกัดของหลักฐานการวัดประสิทธิภาพ

เส้นทางแนะนำที่เกี่ยวข้องวางแผนและแก้ไขพร้อมท์
คำถาม 1 ของ 8

การเปลี่ยนแปลงหลักใดบ้างที่การกระตุ้นแบบ Plan-and-Solve ทำให้เกิดห่วงโซ่แห่งความคิดที่เป็นศูนย์แบบมาตรฐาน

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การเปลี่ยนแปลงหลักใดบ้างที่การกระตุ้นแบบ Plan-and-Solve ทำให้เกิดห่วงโซ่แห่งความคิดที่เป็นศูนย์แบบมาตรฐาน
    • อันดับแรกจะขอให้โมเดลวางแผน จากนั้นจึงดำเนินการทีละขั้นตอน
    • ช่วยปรับแต่งแบบจำลองในการวางแผนข้อมูล
    • มันลบการใช้เหตุผลทีละขั้นตอนโดยสิ้นเชิง
    • ต้องมีตัวอย่างการทำงานหลายสิบตัวอย่างในพรอมต์
  2. จุดอ่อนเฉพาะของห่วงโซ่ความคิดธรรมดาข้อใดที่ Plan-and-Solve ได้รับการออกแบบมาเพื่อแก้ไข
    • ความเร็วในการอนุมานช้าและการใช้หน่วยความจำสูง
    • ขาดขั้นตอนการให้เหตุผลและข้อผิดพลาดในการคำนวณ
    • ผลลัพธ์ที่เป็นพิษหรือเอนเอียง
    • ไม่สามารถสร้างเหตุผลใดๆ ได้เลย
  3. เวอร์ชัน PS+ ที่ปรับปรุงแล้วจะเพิ่มอะไรลงในพรอมต์การวางแผนและแก้ไขพื้นฐาน
    • แบบจำลองภาษาที่สองเพื่อให้คะแนนคำตอบ
    • เข้าถึง API เครื่องคิดเลข
    • คำแนะนำในการแยกตัวแปร คำนวณผลลัพธ์ขั้นกลาง และศึกษาตัวเลข
    • ข้อกำหนดในการตอบใน JSON
  4. ข้อได้เปรียบที่สำคัญของการวางแผนและแก้ไขเหนือกระบวนการคิดแบบต่อเนื่องไม่กี่ครั้งคือ:
    • บรรลุความแม่นยำที่สมบูรณ์แบบเสมอ
    • จำเป็นต้องมีการฝึกโมเดลใหม่
    • ใช้งานได้กับงานการมองเห็นเท่านั้น
    • ไม่ต้องการตัวอย่างงานที่สร้างขึ้นด้วยมือในพรอมต์
  5. เกณฑ์มาตรฐานประเภทใดที่ได้รับการประเมินอย่างเด่นชัดเกี่ยวกับการวางแผนและแก้ไข
    • เกณฑ์มาตรฐานทางคณิตศาสตร์และคำ-ปัญหาทางคณิตศาสตร์ เช่น GSM8K
    • ชุดข้อมูลการจำแนกประเภทรูปภาพ
    • องค์กรการรู้จำเสียง
    • งานพับโปรตีน
  6. เหตุใดการสร้างแผนก่อนขั้นตอนโดยละเอียดจึงมีแนวโน้มที่จะช่วยแบบจำลองการถดถอยอัตโนมัติ
    • มันจะลบคำถามเดิมออกจากบริบท
    • เป้าหมายย่อยของแผนกำหนดเงื่อนไขโทเค็นการให้เหตุผลในภายหลังที่แบบจำลองสร้างขึ้น
    • มันเพิ่มจำนวนพารามิเตอร์ของโมเดลเป็นสองเท่า
    • มันเปลี่ยนโมเดลเป็นโหมดที่ไม่ใช่ข้อความ
  7. A prompt asks a model to list subgoals before solving a word problem. Which Plan-and-Solve stage does that implement?
    • A few-shot worked example
    • The final answer verification stage
    • The planning stage that decomposes the task before execution
    • A decoding-time beam search
  8. A PS+ prompt reminds the model to extract quantities and calculate intermediate results. What is the intent of those reminders?
    • Replace the problem statement with demonstrations
    • Change the model’s parameters during inference
    • Guarantee every answer is correct
    • Reduce calculation and step omissions by directing attention to variables and intermediate quantities