أساليب الممثل الناقد

This pairing makes reinforcement learning more stable and sample-efficient than using either approach alone.

يحتوي التعلم المعزز على أسلوبين واسعين: الأساليب القائمة على السياسات والتي تتعلم بشكل مباشر ما يجب القيام به، والأساليب القائمة على القيمة التي تتعلم مدى جودة الحالات. الممثل الناقد يدمجهم. الفاعل هو سياسة تنتج احتمالات الفعل؛ الناقد هو دالة قيمة تقدر العائد المتوقع. بعد كل خطوة، يحسب الناقد خطأ الفرق الزمني مما يشير إلى ما إذا كانت النتيجة أفضل أو أسوأ من المتوقع. يستخدم الممثل هذا الخطأ لدفع سياسته نحو الإجراءات التي تفوق التوقعات وبعيدًا عن تلك التي يكون أداؤها ضعيفًا. نظرًا لأن الناقد يوفر خطًا أساسيًا منخفض التباين، فإن تقديرات تدرج الممثل تكون أقل ضجيجًا بكثير مما هي عليه في أساليب التدرج السياسي البحتة مثل REINFORCE، في حين لا تزال تتعامل مع مساحات العمل المستمر التي تجد أساليب القيمة فقط مثل Q-Learning أمرًا محرجًا.