Kuis Pembelajaran Penguatan Offline

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang mendefinisikan pembelajaran penguatan offline (batch)?
   • Belajar dari kumpulan data tetap tanpa interaksi lingkungan baru
   • Belajar hanya melalui eksplorasi langsung yang berkelanjutan
   • Pelatihan tanpa sinyal imbalan apa pun
   • Menjalankan inferensi tanpa model apa pun
2. Apa tantangan teknis utama dalam RL offline?
   • Kurangnya data apa pun
   • Pergeseran distribusi dan penilaian berlebihan terhadap tindakan di luar distribusi
   • Eksplorasi online yang berlebihan
   • Terlalu sedikit parameter dalam jaringan
3. What does D4RL provide to researchers evaluating offline reinforcement-learning algorithms?
   • A guarantee that an offline policy is safe to deploy
   • A new optimizer that removes the need for logged data
   • A benchmark suite of datasets and tasks for offline RL evaluation
   • A dataset containing only online interactions collected by each test policy
4. Bagaimana Conservative Q-Learning (CQL) memerangi penilaian berlebihan?
   • Dengan menggelembungkan nilai-nilai untuk tindakan yang tidak terlihat
   • Dengan menghilangkan pahala seluruhnya
   • Dengan menjelajah lebih jauh di dunia nyata
   • Dengan mengatur nilai-Q ke bawah untuk tindakan di luar distribusi
5. Bagaimana Decision Transformer membingkai ulang RL offline?
   • Sebagai pemodelan urutan yang memprediksi tindakan yang dikondisikan pada pengembalian yang diinginkan
   • Sebagai pengelompokan negara bagian
   • Sebagai pencarian acak murni
   • Sebagai klasifikasi gambar yang diawasi
6. Mengapa algoritme RL online standar tidak dapat digunakan apa adanya secara offline?
   • Mereka tidak memiliki jaringan saraf
   • Mereka tidak dapat mengumpulkan data korektif untuk memperbaiki perkiraan nilai yang berlebihan
   • Mereka tidak pernah menggunakan imbalan
   • Mereka tidak memerlukan kebijakan
7. How does BCQ reduce reliance on actions absent from an offline dataset?
   • It adds random actions to every training transition
   • It assumes every action has been observed equally often
   • It constrains candidate actions to stay near actions the dataset supports
   • It removes the action-value function and reward
8. What value-learning method is central to the cited Implicit Q-Learning paper?
   • Maximum-likelihood fitting of a language tokenizer
   • Uniform regression over actions sampled from a live environment
   • A supervised image-classification loss
   • Expectile regression over values associated with dataset actions