Teknik KILAVUZ
Takviyeli Öğrenme
Takviyeli öğrenme, bir aracıyı, sonuçları hakkında geri bildirim kullanarak eylemleri seçmesi için eğitir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Temsilci bir ortamla etkileşime girer ve kümülatif bir ödül hedefini geliştirmeye çalışır. Ödül tasarlanmış bir sinyaldir ve insanların istediği davranışı yalnızca kusurlu bir şekilde temsil edebilir.
Önemli çıkarımlar
- Eylemler gelecekteki gözlemleri etkiler.
- Ödül tasarımı istenmeyen teşvikler yaratabilir.
- Keşfi ve testi tek bir ortamın ötesinde sınırlayın.
Derin Dalış
Ajan bir durumu veya gözlemi gözlemler, politikaya göre bir eylem seçer ve geri bildirim alır. Bir eylem daha sonra karşılaşılan durumları değiştirebilir; dolayısıyla görev, bağımsız etiketleri tahmin etmekten farklıdır. Bir oyun veya simüle edilmiş bir yolculuk gibi bir dizi etkileşim, bir bölümü oluşturabilir. Keşif, sonuçları hakkında bilgi edinmek için eylemleri dener. Sömürü, failin ödül peşinde koşmak için öğrendiklerini kullanır. Hataların insanları, ekipmanı veya bütçeleri etkileyebileceği durumlarda gerçek dağıtımların keşfi kısıtlaması gerekir. Bir simülasyon genellikle faydalıdır, ancak içindeki başarı, onun dışında başarısız olan varsayımlara bağlı olabilir. Geciken ödüller bir kredi atama sorunu yaratır: Daha önce hangi eylemler sonuca yardımcı oldu veya zarar verdi? Algoritmalar değerleri tahmin eder veya deneyimleri kullanarak politikaları doğrudan geliştirir. Gözlem seçimi, eylem alanı, ödül ve zaman ufku, algoritmanın adı kadar önemli olabilir. Bir politikanın ödüldeki boşluklardan yararlanıp yararlanmadığını test edin. Bir destek temsilcisi bildirimleri kapatarak ödül kazanırsa çözülmemiş istekleri kapatabilir. Görevin tamamlanmasına ve kabul edilemez sonuçlara ilişkin doğrudan kontrolleri dahil edin. Çeşitli başlangıç koşullarındaki performansı karşılaştırın ve deneyim toplamanın maliyetini bildirin.
04Çalışılan örnek
İndirimli getiriyi hesaplayın
Uydurulmuş üç adımlı bir bölümde ödüller 2, 0 ve 5'tir. İndirim faktörü 0,9 ile ilk adımdan elde edilen getiri 2 + 0,9 × 0 + 0,9² × 5'tir.
Sonuç 6.05. İndirim olmasaydı toplam 7 olurdu.
Ödül tanımının veya ufkunun değiştirilmesi, aynı ortamda bile hangi politikanın tercih edildiğini değiştirebilir.
Ne gösteriyor?
Bu aritmetik örnek amacı açıklıyor; ölçülen bir takviye-öğrenme sonucu değildir.
Gerçek Dünya Uygulaması
Açıkça tanımlanmış güvenli eylemlerle bir politikayı simülatörde eğitin.
Değerlendirme varsayımları savunulabilir olduğunda, kayıtlı sonuçları kullanarak eylem politikalarını karşılaştırın.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Kaynaklar ve ek okuma
- MIT Press; Richard S. Sutton and Andrew G. BartoTakviyeli Öğrenme: Giriş
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Reinforcement Learning quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Ödül, insanın onayıyla aynı mıdır?
Mutlaka değil. Ödüller sayısal ölçümler, sonuçlar veya geri bildirim temsili olabilir. Amaçlanan hedefle bağlantıları değerlendirilmelidir.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi