Enerji Bazlı Modeller
Enerji tabanlı modeller (EBM'ler), makul verilere düşük değerler ve mantıksız verilere yüksek değerler atayan skaler bir 'enerji' fonksiyonunu öğrenir ve normalleştirmeyi kolaylaştırmaya zorlamadan bir olasılık dağılımı tanımlar.
Genel Bakış
This flexibility makes them a unifying lens for much of machine learning, from classifiers to generative models.
Derin Dalış
Enerji bazlı bir model, Boltzmann (Gibbs) dağılımı yoluyla bir olasılığı tanımlar: p(x), exp(-E(x)) ile orantılıdır; burada E(x), öğrenilmiş bir enerji fonksiyonudur, genellikle bir sinir ağıdır. Eğitim, gerçek verilerin enerjisini azaltır ve diğer her şeyin enerjisini artırır. Yakalama, genellikle hesaplanması zor olan, exp(-E(x))'in tüm olası girdiler üzerindeki toplamı veya integrali olan bölüm fonksiyonu Z'dir. Dolayısıyla EBM'ler yaklaşık değerlerle eğitilir: karşılaştırmalı sapma, puan eşleştirme veya gürültü karşılaştırmalı tahmin ve enerji gradyanını takip eden Langevin dinamikleri gibi MCMC yöntemleri aracılığıyla örneklenir. Klasik örnekler arasında Hopfield ağları ve Kısıtlı Boltzmann Makineleri; modern çalışmalar EBM'leri difüzyon modellerine, GAN'lara ve hatta enerji fonksiyonları olarak yeniden yorumlanan sıradan sınıflandırıcılara bağlamaktadır.
Teknik Bilgi
Model, p(x) = exp(-E(x)) / Z olasılığını atar. Z (tüm girdiler üzerindeki normalleştirici) inatçı olduğundan, olasılığı nadiren doğrudan hesaplarsınız. Bunun yerine puan eşleştirme ve Langevin örneklemesi, log p(x)'in gradyanının E(x)'in -gradyanına eşit olmasından yararlanır, dolayısıyla Z dışarıda kalır. Langevin dinamiği daha sonra, enerjide x'i sürekli olarak yokuş aşağı iterek ve gürültü ekleyerek, düşük enerjili, yüksek olasılıklı bölgelere doğru yürüyerek örnekler üretir.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Enerji Tabanlı Modellerin Geleceği
EBM'ler, yayılma modelleri, puana dayalı üretken modeller ve ayrımcı ağlar arasında teorik bir köprü sağladıklarından yeniden ilgi görmeye başladı; bir yayılma modelinin öğrendiği puan, esasen bir enerji eğimidir. Esnek, şekillendirilebilir kısıtlamalar (üretimi yönlendirmek için birden fazla enerjiyi birleştirmek) için enerji işlevlerini kullanan, MCMC'den daha iyi ve daha hızlı örnekleme ve 'en düşük enerji konfigürasyonunu bulma'nın doğal olarak optimizasyon ve kısıtlama memnuniyetini ifade ettiği akıl yürütme ve planlama uygulamalarında daha fazla hibrit sistem bekleyin.
Gerçek Dünya Uygulaması
Hopfield ağları, düşük enerjili bir duruma yerleşerek gürültülü veya kısmi bir girdiden depolanan bir modeli geri çağıran ilişkisel hafıza görevi görür.
Tarihsel olarak işbirlikçi filtreleme ve derin inanç ağlarının ön eğitimi için kullanılan Kısıtlı Boltzmann Makineleri
Kalibrasyonu, sağlamlığı ve dağıtım dışı tespitini geliştirmek için standart bir sınıflandırıcıyı enerji tabanlı bir model (JEM yaklaşımı) olarak yeniden yorumlamak
Etkileşimli birçok değişken (örneğin, poz tahmini veya düzen) üzerinde öğrenilen enerjinin en aza indirilmesiyle çözümlerin bulunduğu yapılandırılmış tahmin ve kısıtlama memnuniyeti
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Energy-Based Models quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Puana Dayalı Üretken Modeller
Sık sorulan sorular
What is Energy-Based Models?
Enerji tabanlı modeller (EBM'ler), makul verilere düşük değerler ve mantıksız verilere yüksek değerler atayan skaler bir 'enerji' fonksiyonunu öğrenir ve normalleştirmeyi kolaylaştırmaya zorlamadan bir olasılık dağılımı tanımlar. Bu esneklik, onları sınıflandırıcılardan üretken modellere kadar makine öğreniminin çoğu için birleştirici bir mercek haline getirir.
Enerji tabanlı bir modelde enerji, bir veri noktasının olasılığıyla nasıl ilişkilidir?
Boltzmann dağılımı yoluyla, p(x), exp(-E(x)) ile orantılıdır, dolayısıyla makul verilere düşük enerji ve yüksek olasılık atanır.
Enerji temelli modellerin eğitimini zorlaştıran şey nedir?
Z'yi hesaplamak, tüm girdi alanı boyunca exp(-E(x))'in toplanmasını veya entegre edilmesini gerektirir ki bu genellikle mümkün değildir ve yaklaşık eğitim yöntemlerini zorlar.
Bir EBM'den numune almak için yaygın olarak hangi numune alma yöntemi kullanılır?
Langevin dinamiği, gürültüyü eklerken örnekleri enerji gradyanı boyunca yinelemeli olarak yokuş aşağı hareket ettirerek düşük enerjili bölgelere doğru yaklaşıyor.
Puan eşleştirme gibi yöntemler neden Z bölme fonksiyonunu hesaplamaktan kaçınabiliyor?
Z, x'e bağlı olmadığı için, log p(x)'in x'e göre farklılaştırılması onu iptal eder ve geriye yalnızca izlenebilir enerji gradyanı kalır.
Bunlardan hangisi klasik enerji temelli bir modeldir?
Hopfield ağları, kalıpları düşük enerji durumları olarak saklayan ve enerjiyi en aza indirerek geri çağıran, enerjiye dayalı erken bir modeldir.