Piyango Bileti Hipotezi
Piyango Bileti Hipotezi, büyük, rastgele başlatılan bir sinir ağının içinde, aynı başlangıç ağırlıklarından tek başına eğitilen ve ağın tüm doğruluğuyla eşleşebilecek küçük bir alt ağın (bir 'kazanan bilet') gizlendiğini söylüyor.
Genel Bakış
It matters because it suggests we are training far more parameters than we actually need.
Derin Dalış
2018'de MIT'den Jonathan Frankle ve Michael Carbin tarafından önerilen hipotez, budama araştırmasından doğdu. Normalde eğitimli bir ağı doğruluğunu kaybetmeden ağırlıklarının %10-20'sine kadar budayabilirsiniz, ancak bu küçük ağı sıfırdan eğitmek başarısız olur. Frankle ve Carbin işin püf noktasını buldu: hayatta kalan bağlantıların orijinal başlangıç ağırlıklarını koruyun. Bu seyrek alt ağ - kazanan bilet - daha sonra, bazen yoğun orijinalden daha hızlı bir şekilde, tek başına tam doğrulukla eğitilir. Biletleri 'yinelemeli büyüklük budama' yoluyla belirlediler: eğitin, en küçük büyüklükteki ağırlıkları budayın, geri kalanını başlangıç değerlerine geri sarın ve tekrarlayın. Sonuç, yoğun aşırı parametrelendirmenin esas olarak optimizasyonun iyi bir seyrek yapı bulmasına yardımcı olduğunu, tüm bu ağırlıkların ayrı ayrı gerekli olduğunu ima etmez.
Teknik Bilgi
Temel prosedür, ağırlık geri sarma ile yinelemeli büyüklük budamadır: eğitimden sonra, en düşük büyüklükteki ağırlıkları kaldırın, kalan ağırlıkları orijinal başlangıç değerlerine (veya erken eğitim kontrol noktasına, 'geri sarma' adı verilen bir iyileştirme) sıfırlayın ve ardından yeniden eğitin. Belirli bir seyrek maskenin VE onun eşleşen başlatmasının birleşimi, bir biletin 'kazanmasını' sağlayan şeydir; aynı maskenin rastgele yeniden başlatılması etkiyi yok eder.
Stratejik Etki
Daha net kararlar
Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
Maliyet ve bütçe
Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
Ekip ve iş akışı
Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
Piyango Bileti Hipotezinin Geleceği
Piyango biletleri, bilgi işlem ve enerji tasarrufu sağlamak için seyrek ağların başlangıçtan itibaren eğitilmesine ve biletlerin veri kümeleri ve görevler arasında aktarılıp aktarılmadığına ilişkin araştırmaları hızlandırır. Yinelemeli budamayı milyar parametreli modellere ölçeklendirmek pahalı olmaya devam ediyor, bu nedenle biletleri ucuza bulma veya var olduklarını kanıtlama çalışmaları devam ediyor ("güçlü" piyango bileti hipotezi, biletlerin başlangıçta hiçbir eğitim olmadan var olduğunu söylüyor). Verimli cihaz içi modeller ve yeşil yapay zeka ile bağlantılar bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Doğruluğu korurken büyük bir görüntü sınıflandırıcıyı telefona yerleştirmek için ağırlığının %20'sinin altına sıkıştırmak
Yalnızca seyrek kazanan bir alt ağı tanımlayıp eğiterek eğitimi hızlandırma
İlgili bir veri kümesinde eğitime hızlı bir başlangıç yapmak için bir veri kümesinde bulunan bir bileti yeniden kullanarak ağırlık aktarılabilirliğini incelemek
Yoğun model yerine budanmış kazanan biletin gönderilmesiyle uç cihazlarda çıkarım enerjisinin ve belleğin azaltılması
Riskler ve Korkuluklar
Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Uygulama Yol Haritası
İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
Piyango Bileti Hipotezinin nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Lottery Ticket Hypothesis quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Chinchilla Bilgi İşlem-Optimal Eğitimi
Sık sorulan sorular
What is Lottery Ticket Hypothesis?
Piyango Bileti Hipotezi, büyük, rastgele başlatılan bir sinir ağının içinde, aynı başlangıç ağırlıklarından tek başına eğitilen ve ağın tüm doğruluğuyla eşleşebilecek küçük bir alt ağın (bir 'kazanan bilet') gizlendiğini söylüyor. Bu önemli çünkü aslında ihtiyacımız olandan çok daha fazla parametreyi eğittiğimizi gösteriyor.
Bu hipotezde 'kazanan bilet' nedir?
Kazanan bir bilet, aynı başlangıç ağırlıklarından ayrı olarak eğitildiğinde yoğun ağla karşılaştırılabilir bir doğruluğa ulaşan küçük bir alt ağdır.
Özel bir şey yapmadığınız sürece budanmış alt ağın eğitimi neden normalde başarısız oluyor?
Temel fikir, seyrek maskenin yalnızca eşleşen orijinal başlatmayla eşleştirildiğinde çalıştığıdır; rastgele yeniden başlatma bunu bozar.
Piyango Bileti Hipotezini kim öne sürdü?
Jonathan Frankle ve Michael Carbin, 2018 MIT makalelerinde hipotezi ortaya attılar.
Kazanan biletleri bulmak için hangi teknik kullanılıyor?
Yinelemeli büyüklük budama tekrar tekrar eğitim verir, en küçük büyüklükteki ağırlıkları kaldırır ve geri kalanını başlangıç değerlerine geri sarar.
Hipotez, aşırı parametreli ağlar hakkında ne öneriyor?
Bulgu, aşırı parametrelendirmenin gerekli olan her ağırlığın yerine eğitilebilir seyrek bir alt ağ arayışına yardımcı olduğunu ima ediyor.