แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบตัวแทนการสะท้อนกลับและการแก้ไขตนเอง

ตรวจสอบวงจรการตอบรับด้วยวาจา ผู้ประเมิน หน่วยความจำตอน ขอบเขตการวัดประสิทธิภาพ และความเสี่ยงของการตอบรับที่ไม่น่าเชื่อถือ ตรวจสอบหลักฐานและวงเงิน

เส้นทางแนะนำที่เกี่ยวข้องตัวแทนสะท้อนและแก้ไขตนเอง
คำถาม 1 ของ 8

คุณลักษณะที่กำหนดว่าตัวแทน 'เรียนรู้' ของ Reflexion คืออะไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. คุณลักษณะที่กำหนดว่าตัวแทน 'เรียนรู้' ของ Reflexion คืออะไร
    • โดยจะจัดเก็บการสะท้อนที่เป็นลายลักษณ์อักษรในบริบทโดยไม่ต้องเปลี่ยนน้ำหนักแบบจำลอง
    • โดยจะอัปเดตน้ำหนักของโมเดลผ่านการปรับแต่งแบบละเอียด
    • โดยจะดาวน์โหลดเวอร์ชันโมเดลใหม่หลังจากเกิดความล้มเหลวในแต่ละครั้ง
    • โดยขอให้มนุษย์ติดฉลากข้อมูลการฝึกใหม่
  2. ในกรอบงาน Reflexion Service Checker ทำหน้าที่อะไร?
    • มันสร้างการดำเนินการถัดไปของตัวแทน
    • โดยจะให้คะแนนผลลัพธ์ของความพยายามสร้างสัญญาณตอบรับ
    • โดยจะลบความทรงจำเก่าๆ เพื่อประหยัดพื้นที่
    • มันแปลงานเป็นภาษาอื่น
  3. เหตุใดคุณภาพของสัญญาณการประเมินจึงมีความสำคัญมากใน Reflexion
    • เพราะมันเป็นตัวกำหนดอัตราการเรียนรู้ของโมเดล
    • เพราะมันเป็นตัวกำหนดว่าจะใช้ GPU กี่ตัว
    • เพราะสัญญาณที่ผิดอาจทำให้ตัวแทนไตร่ตรองและตอกย้ำบทเรียนที่ไม่ถูกต้องได้
    • เพราะมันกำหนดอุณหภูมิของโมเดลภาษา
  4. กระดาษ Reflexion รายงานผล 91% pass@1 ตามมาตรฐานการเข้ารหัสใด
    • อิมเมจเน็ต
    • COCO detection
    • WMT translation
    • HumanEval
  5. ข้อใดคือความเสี่ยงแบบเปิดอย่างแท้จริงกับตัวแทนที่แก้ไขตัวเอง
    • พวกเขาสามารถวนซ้ำเอาต์พุต 'แก้ไข' ที่ถูกต้องอยู่แล้วได้อย่างไม่สิ้นสุด
    • พวกเขาต้องการข้อมูลที่มีป้ายกำกับสำหรับทุกโทเค็น
    • ไม่สามารถทำงานบนฮาร์ดแวร์มาตรฐานได้
    • พวกเขาทำให้โมเดลพื้นฐานเสียหายอย่างถาวร
  6. Where does Reflexion keep feedback for a later attempt?
    • In updated model weights
    • In an episodic memory buffer supplied as text context
    • In a hardware cache shared across users
    • In the original training corpus
  7. What is the role of the Actor in Reflexion?
    • It changes the base model weights
    • It authenticates citations automatically
    • It generates the actions or attempt for the task
    • It sets the benchmark score after the run
  8. What kinds of feedback can Reflexion use?
    • Only gradient updates from fine-tuning
    • Only human ratings in every task
    • Only token likelihood from pretraining
    • Signals such as scalar outcomes or language feedback from external or simulated sources