Çevrimdışı Güçlendirme Öğrenme Sınavı

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

1. Çevrimdışı (toplu) takviyeli öğrenmeyi ne tanımlar?
   • Yeni ortam etkileşimi olmadan sabit bir veri kümesinden öğrenme
   • Yalnızca sürekli canlı keşif yoluyla öğrenme
   • Herhangi bir ödül sinyali olmadan eğitim
   • Çıkarımı herhangi bir model olmadan çalıştırma
2. Çevrimdışı RL'deki temel teknik zorluk nedir?
   • Herhangi bir veri eksikliği
   • Dağıtım dışı eylemlerin dağıtımsal kayması ve olduğundan fazla tahmin edilmesi
   • Aşırı çevrimiçi keşif
   • Ağda çok az parametre
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Muhafazakar Q-Öğrenim (CQL) aşırı tahminle nasıl mücadele eder?
   • Görünmeyen eylemlerin değerlerini şişirerek
   • Ödülü tamamen kaldırarak
   • Gerçek dünyada daha fazlasını keşfederek
   • Dağıtım dışı eylemler için Q değerlerini düzenli hale getirerek
5. Decision Transformer çevrimdışı RL'yi nasıl yeniden çerçeveliyor?
   • İstenilen getiriye göre koşullanan eylemleri tahmin eden dizi modelleme olarak
   • Durumların kümelenmesi olarak
   • Tamamen rastgele arama olarak
   • Denetimli görüntü sınıflandırması olarak
6. Neden standart çevrimiçi RL algoritmaları çevrimdışı olduğu gibi kullanılamıyor?
   • Sinir ağları yok
   • Değerin fazla tahmin edilmesini düzeltmek için düzeltici veriler toplayamazlar
   • Asla ödül kullanmazlar
   • Hiçbir politikaya ihtiyaç duymazlar
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions