Teknik KILAVUZ
Q-Öğrenim
Q-Learning, deneme yanılma yoluyla her hareketin değerini kademeli olarak öğrenerek bir temsilciye hangi eylemlerin en iyi sonucu verdiğini öğreten bir takviyeli öğrenme algoritmasıdır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Önemli çünkü çevresinin kuralları hiç söylenmeden en iyi davranışı bulabilir.
Derin Dalış
Q-Learning, Q(s, a) adı verilen bir işlevi öğrenir: 's' durumunda 'a' eylemini gerçekleştirmenin ve sonrasında en iyi şekilde hareket etmenin beklenen uzun vadeli ödülü. Temsilci hiçbir şey bilmemeye başlar, eylemleri dener ve ödülleri gözlemler. Her adımdan sonra, Q değeri tahminini yeni alınan ödül artı bir sonraki durumdan beklediği en iyi indirimli gelecek değere doğru iter. Daha da önemlisi, "politika dışı" ve "modelden bağımsız": Rastgele keşfederken en iyi politikayı öğrenebilir ve asla dünyanın nasıl geçiş yaptığına dair bir modele ihtiyaç duymaz. Her durum-eylem çiftinin yeterince araştırılması göz önüne alındığında, Q değerleri kanıtlanabilir şekilde optimal değerlere yakınsar ve herhangi bir durumdaki en iyi eylem, en yüksek Q'ya sahip olandır.
Gerçek Dünya Uygulaması
Atari oyun oynayan ajanlar (DeepMind'in DQN'si) doğrudan ekran piksellerinden Breakout ve Pong oynamayı öğreniyor
Toplam araç bekleme süresini en aza indirmek için kavşaklarda trafik ışığı zamanlamasını optimize etme
Robotun, ödülü en üst düzeye çıkaracak en kısa yolu öğrendiği bir ızgara veya labirentte robot navigasyonu
Bir temsilcinin hangi eylemlerin uzun vadeli kârı en üst düzeye çıkardığını öğrendiği dinamik fiyatlandırma ve envanter kararları
Q-Learning'in Geleceği
Durumların bir tabloda depolanamayacak kadar fazla olması durumunda klasik tablolu Q-Learning zorlanır. Baskın yön, piksel gibi ham girdilerden Q değerlerine yaklaşan Derin Q-Ağlarında (DQN) olduğu gibi onu sinir ağlarıyla birleştirmek. Araştırmalar, deneyim tekrarı, hedef ağlar ve aşırı tahmin yanlılığını azaltan ve tekli ortalamalar yerine tam getiri dağılımlarını temsil eden Double DQN ve dağıtımsal Q-Öğrenim gibi değişkenlerle bunu dengelemeye devam ediyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Q-Learning quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Q-Öğrenme nedir?
Q-Learning, deneme yanılma yoluyla her hareketin değerini kademeli olarak öğrenerek bir temsilciye hangi eylemlerin en iyi sonucu verdiğini öğreten bir takviyeli öğrenme algoritmasıdır. Bu önemlidir çünkü çevresinin kuralları kendisine hiç söylenmeden en uygun davranışı bulabilir.
Q-değeri Q(s, a) neyi temsil eder?
Q(s, a), yalnızca anlık ödülü değil, s durumunda a eylemini yapmaktan ve sonrasında en iyi şekilde davranmaktan elde edilen toplam indirimli gelecekteki ödülü tahmin eder.
Q-Learning neden 'politika dışı' olarak tanımlanıyor?
Sonraki eylemlerin maksimumu, aracı farklı bir davranış politikasıyla araştırma yaparken bile Q-Learning'in açgözlü optimal politikasının değerini öğrendiği anlamına gelir.
Güncelleme kuralında indirim faktörü gama neyi kontrol eder?
Gama (0 ile 1 arasında) gelecekteki ödüllerde indirim sağlar; 1'e yakın değerler aracıyı uzak görüşlü, 0'a yakın değerler ise kısa görüşlü yapar.
Q-Learning'deki zamansal fark (TD) hatası nedir?
TD hatası, yeni hedef tahmini (ödül artı en iyi iskonto edilmiş gelecek değer) ile eski Q tahmini arasındaki boşluktur; güncelleme bu açığı daraltıyor.
Düz tablolu Q-Learning neden piksellerden kaynaklanan video oyunları gibi büyük sorunlarla mücadele ediyor?
Bir arama tablosunun durum-eylem çifti başına bir girişe ihtiyacı vardır; bu, durumların sayısı milyarlarca olduğunda mümkün değildir ve DQN gibi sinir ağı tahmincilerini motive eder.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi