SıradakiSonraki rehber
İnsan Geri Bildiriminden Takviyeli Öğrenme
Teknik
Teknik KILAVUZ
Ters Takviye Öğrenme
Ters takviyeli öğrenme (IRL), standart RL'yi tersine çevirir: Bir ödül vermek ve bir politika bulmak yerine, uzman davranışını izler ve bunu açıklayan gizli ödül fonksiyonunu çıkarır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Bu önemlidir çünkü geri kazanılan bir ödül, yeni durumlara doğrudan kopyalanan eylemlerden çok daha iyi genellenir.
Derin Dalış
Ters takviyeli öğrenme şu soruyu sorar: Bir uzmanın bu şekilde davranması için hangi hedefi takip ediyor olması gerekir? Gösterimler göz önüne alındığında, IRL, bu davranışın optimal (veya optimale yakın) göründüğü bir ödül fonksiyonunu kurtarır, ardından bir politika türetmek için standart RL'yi kullanır. Motivasyon genellemedir; öğrenilmiş bir ödül, davranışın ardındaki nedeni yakalar, böylece yalnızca eylemleri taklit eden davranışsal klonlamanın aksine, aracı, gösterilerin asla kapsamadığı durumlarda mantıklı bir şekilde hareket edebilir. Sorun temelde yanlış bir şekilde ortaya konmuştur: Birçok ödül fonksiyonu, önemsiz olanlar da dahil olmak üzere aynı davranışı açıklamaktadır. Uzmanı açıkça en iyi yapan ödülleri tercih eden maksimum marj yöntemleri ve verilerle tutarlı olarak en az taahhütlü ödül dağılımını seçen maksimum entropili IRL dahil olmak üzere temel yaklaşımlar bu belirsizliği çözer.
Gerçek Dünya Uygulaması
İnsan sürücülerden sürüş tercihlerini (yumuşaklık, güvenlik marjları) çıkaran otonom araçlar
Robotlar, yeni düzenlere genelleştirmek için insan gösterilerinden görev hedeflerini öğreniyor
Gözlemlenen yörüngelerin ardındaki hedefleri kurtararak yaya veya hayvan hareketini modelleme
Yapay zeka uyumu için ödül çıkarımı, gösterilen seçimlerden insani değerlerin öğrenilmesi
Ters Takviyeli Öğrenmenin Geleceği
IRL, uyum için ödül öğrenimini giderek daha fazla desteklemektedir: İnsanların ödülleri elle kodlaması yerine, sistemler, insanların davranış ve geri bildirimlerden neye değer verdiğini çıkarmaktadır. İnsan geri bildirimlerinden ve tercihli öğrenmeden, dil modeline ve robotik ayarlara ölçeklendirmeden takviyeli öğrenmeyle daha sıkı bağlantılar bekleyebilirsiniz. Araştırmalar, ham video ve kısmi gözlemlerden ödüller kazanmaya ve günümüz yöntemlerinin başına bela olan ödül hackleme ve belirsizlik sorunlarına direnen, kanıtlanabilir şekilde tanımlanabilir ödüllere doğru ilerlemektedir.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Ters Takviye Öğrenme testini yapın
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Ters Pekiştirmeli Öğrenme Nedir?
Ters takviyeli öğrenme (IRL), standart RL'yi tersine çevirir: Bir ödül vermek ve bir politika bulmak yerine, uzman davranışını izler ve bunu açıklayan gizli ödül fonksiyonunu çıkarır. Bu önemlidir çünkü geri kazanılan bir ödül, yeni durumlara doğrudan kopyalanan eylemlerden çok daha iyi genellenir.
Ters takviyeli öğrenme neyi iyileştirmeyi amaçlıyor?
IRL, gösterimleri girdi olarak alır ve uzmanın davranışının optimal göründüğü temel ödül fonksiyonunun sonucunu çıkarır.
IRL sorunu neden hatalı veya belirsiz olarak tanımlanıyor?
Tamamen sıfır olan önemsiz bir ödül de dahil olmak üzere çoklu ödül işlevleri, gözlemlenen davranışı en uygun hale getirebilir, dolayısıyla ödül yalnızca gösterilerle benzersiz bir şekilde belirlenmez.
Bir ödülü geri kazanmanın davranışsal klonlamaya göre hangi önemli avantajı vardır?
Bir ödül işlevi, uzmanın neden böyle davrandığını kodlayarak türetilmiş politikanın yeni durumlarda mantıklı davranmasına izin verirken, klonlama yalnızca verilerde görülen eylemleri kopyalar.
Maksimum entropi IRL, ödül belirsizliğini nasıl çözer?
Maksimum entropi IRL, daha yüksek ödül yörüngelerinin katlanarak daha muhtemel olduğunu varsayar ve kusurlu, gürültücü uzmanları da tolere eden benzersiz bir hedef sunar.
IRL bir ödül işlevini kurtardıktan sonra genellikle bundan sonra ne yapılır?
IRL bir ödül üretir ve bu ödül daha sonra, bu çıkarımsal hedef kapsamında en uygun politikayı hesaplamak için normal bir RL algoritmasına aktarılır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi