แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบวิธีการนักแสดง-นักวิจารณ์

ตรวจสอบบทบาทของนักแสดงและนักวิจารณ์ ความได้เปรียบและสัญญาณ TD การลดความแปรปรวน การดำเนินการต่อเนื่อง และตัวอย่าง PPO ในการปฏิบัติสมัยใหม่

เส้นทางแนะนำที่เกี่ยวข้องวิธีการวิจารณ์นักแสดง
คำถาม 1 ของ 8

ในวิธีการของนักแสดง-นักวิจารณ์ บทบาทของ 'นักวิจารณ์' คืออะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในวิธีการของนักแสดง-นักวิจารณ์ บทบาทของ 'นักวิจารณ์' คืออะไร?
    • เพื่อประเมินมูลค่าของรัฐ (หรือการกระทำ) และประเมินตัวเลือกของนักแสดง
    • เพื่อเลือกการกระทำที่จะดำเนินการ
    • เพื่อจัดเก็บบัฟเฟอร์การเล่นซ้ำ
    • เพื่อสุ่มสำรวจสภาพแวดล้อม
  2. 'ข้อได้เปรียบ' A(s,a) = Q(s,a) - V(s) วัดอะไร?
    • รางวัลตอนทั้งหมด
    • การกระทำนั้นดีกว่ามูลค่าเฉลี่ยของรัฐมากน้อยเพียงใด
    • อัตราการเรียนรู้
    • จำนวนการดำเนินการที่มีอยู่
  3. เหตุใดการเพิ่มนักวิจารณ์จึงลดความแปรปรวนเมื่อเปรียบเทียบกับวิธีการไล่ระดับนโยบายล้วนๆ เช่น REINFORCE
    • มันเอารางวัลออกจากสมการ
    • มันทำให้นโยบายกำหนด
    • นักวิจารณ์ให้ข้อมูลพื้นฐาน ดังนั้นการอัปเดตจึงใช้สัญญาณความได้เปรียบที่มีสัญญาณรบกวนน้อยกว่า
    • มันเพิ่มปัจจัยส่วนลด
  4. วิธี Actor-Critic มีความสามารถใดที่วิธีการตามค่าธรรมดาเช่น Q-Learning จัดการได้อย่างเชื่องช้า
    • การกระทำที่ไม่ต่อเนื่อง
    • การใช้รางวัล
    • ลดราคาอนาคต.
    • พื้นที่ปฏิบัติการอย่างต่อเนื่อง
  5. ข้อใดต่อไปนี้เป็นอัลกอริทึมแบบ Actor-Critic ที่ใช้กันอย่างแพร่หลายสำหรับ RLHF ในโมเดลภาษา
    • PPO (การเพิ่มประสิทธิภาพนโยบายใกล้เคียง)
    • K-หมายถึง
    • การถดถอยเชิงเส้น
    • Q-การเรียนรู้
  6. โดยทั่วไปแล้วนักแสดงจะใช้สัญญาณใดในการอัปเดตนโยบายของตน
    • อินพุตพิกเซลดิบ
    • ข้อได้เปรียบหรือข้อผิดพลาด TD ที่นักวิจารณ์ให้ไว้
    • ขนาดบัฟเฟอร์การเล่นซ้ำ
    • ตัวเลขสุ่มคงที่
  7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
    • Decrease its probability in every state
    • Set the critic’s value estimate to zero
    • Increase the probability of choosing that action in the state
    • Replace the policy with a Q-table
  8. An action’s estimated advantage is negative. What direction should the actor update favor?
    • Increase it because the critic was surprised
    • Delete the state from the environment
    • Raise the reward discount factor automatically
    • Reduce the likelihood of that action relative to the policy baseline