Aktör-Eleştirmen Yöntemleri Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Aktör-Eleştirmen yönteminde 'eleştirmenin' rolü nedir?
   • Durumların (veya eylemlerin) değerini tahmin etmek ve aktörün seçimlerini değerlendirmek
   • Hangi eylemin gerçekleştirileceğini seçmek için
   • Tekrar arabelleğini saklamak için
   • Çevreyi rastgele keşfetmek için
2. A(s,a) = Q(s,a) - V(s) 'avantajı' neyi ölçer?
   • Toplam bölüm ödülü
   • Bir eylemin eyaletin ortalama değerinden ne kadar daha iyi olduğu
   • Öğrenme oranı
   • Mevcut eylem sayısı
3. REINFORCE gibi saf politika kademeli yöntemlere kıyasla bir eleştirmen eklemek neden varyansı azaltıyor?
   • Ödülleri denklemden çıkarır
   • Politikayı belirleyici kılar
   • Eleştirmen bir temel sağlar, dolayısıyla güncellemeler daha az gürültülü bir avantaj sinyali kullanır
   • İndirim faktörünü artırır
4. Aktör-Eleştirmen yöntemlerinin hangi yeteneği var ki, Q-Learning gibi düz değere dayalı yöntemler beceriksizce ele alınıyor?
   • Ayrık eylemler
   • Ödülleri kullanma
   • Geleceği iskonto etmek
   • Sürekli eylem alanları
5. Aşağıdakilerden hangisi dil modellerinde RLHF için yaygın olarak kullanılan Aktör-Eleştirmen tabanlı bir algoritmadır?
   • PPO (Yakın Politika Optimizasyonu)
   • K-anlamına gelir
   • Doğrusal regresyon
   • Q-Öğrenim
6. Aktör politikasını güncellemek için genellikle hangi sinyali kullanıyor?
   • Ham piksel girişi
   • Eleştirmenin sağladığı avantaj veya tank avcısı hatası
   • Tekrar oynatma arabelleği boyutu
   • Sabit bir rastgele sayı
7. An action has a positive advantage estimate. How does a policy-gradient actor typically use that signal?
   • Decrease its probability in every state
   • Set the critic’s value estimate to zero
   • Increase the probability of choosing that action in the state
   • Replace the policy with a Q-table
8. An action’s estimated advantage is negative. What direction should the actor update favor?
   • Increase it because the critic was surprised
   • Delete the state from the environment
   • Raise the reward discount factor automatically
   • Reduce the likelihood of that action relative to the policy baseline