แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบวิธีการนักแสดง-นักวิจารณ์
ตรวจสอบบทบาทของนักแสดงและนักวิจารณ์ ความได้เปรียบและสัญญาณ TD การลดความแปรปรวน การดำเนินการต่อเนื่อง และตัวอย่าง PPO ในการปฏิบัติสมัยใหม่
คำถาม 1 ของ 8
ในวิธีการของนักแสดง-นักวิจารณ์ บทบาทของ 'นักวิจารณ์' คืออะไร?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ในวิธีการของนักแสดง-นักวิจารณ์ บทบาทของ 'นักวิจารณ์' คืออะไร?
- เพื่อประเมินมูลค่าของรัฐ (หรือการกระทำ) และประเมินตัวเลือกของนักแสดง
- เพื่อเลือกการกระทำที่จะดำเนินการ
- เพื่อจัดเก็บบัฟเฟอร์การเล่นซ้ำ
- เพื่อสุ่มสำรวจสภาพแวดล้อม
- 'ข้อได้เปรียบ' A(s,a) = Q(s,a) - V(s) วัดอะไร?
- รางวัลตอนทั้งหมด
- การกระทำนั้นดีกว่ามูลค่าเฉลี่ยของรัฐมากน้อยเพียงใด
- อัตราการเรียนรู้
- จำนวนการดำเนินการที่มีอยู่
- เหตุใดการเพิ่มนักวิจารณ์จึงลดความแปรปรวนเมื่อเปรียบเทียบกับวิธีการไล่ระดับนโยบายล้วนๆ เช่น REINFORCE
- มันเอารางวัลออกจากสมการ
- มันทำให้นโยบายกำหนด
- นักวิจารณ์ให้ข้อมูลพื้นฐาน ดังนั้นการอัปเดตจึงใช้สัญญาณความได้เปรียบที่มีสัญญาณรบกวนน้อยกว่า
- มันเพิ่มปัจจัยส่วนลด
- วิธี Actor-Critic มีความสามารถใดที่วิธีการตามค่าธรรมดาเช่น Q-Learning จัดการได้อย่างเชื่องช้า
- การกระทำที่ไม่ต่อเนื่อง
- การใช้รางวัล
- ลดราคาอนาคต.
- พื้นที่ปฏิบัติการอย่างต่อเนื่อง
- ข้อใดต่อไปนี้เป็นอัลกอริทึมแบบ Actor-Critic ที่ใช้กันอย่างแพร่หลายสำหรับ RLHF ในโมเดลภาษา
- PPO (การเพิ่มประสิทธิภาพนโยบายใกล้เคียง)
- K-หมายถึง
- การถดถอยเชิงเส้น
- Q-การเรียนรู้
- โดยทั่วไปแล้วนักแสดงจะใช้สัญญาณใดในการอัปเดตนโยบายของตน
- อินพุตพิกเซลดิบ
- ข้อได้เปรียบหรือข้อผิดพลาด TD ที่นักวิจารณ์ให้ไว้
- ขนาดบัฟเฟอร์การเล่นซ้ำ
- ตัวเลขสุ่มคงที่
- An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
- Decrease its probability in every state
- Set the critic’s value estimate to zero
- Increase the probability of choosing that action in the state
- Replace the policy with a Q-table
- An action’s estimated advantage is negative. What direction should the actor update favor?
- Increase it because the critic was surprised
- Delete the state from the environment
- Raise the reward discount factor automatically
- Reduce the likelihood of that action relative to the policy baseline