Ağırlık Başlatma
Eğitim başlamadan önce bir sinir ağının başlangıç ağırlıklarını nasıl ayarlayacağınız; bu, sinyallerin ve degradelerin derin katmanlar boyunca sağlıklı kalıp kalmayacağını güçlü bir şekilde şekillendirir.
Genel Bakış
Good initialization is the difference between fast convergence and a model that never learns.
Derin Dalış
Antrenmandan önce her ağırlığın bir başlangıç değerine ihtiyacı vardır. Hepsini sıfıra ayarlamak ölümcüldür: aynı ağırlıklar aynı gradyanları üretir, dolayısıyla nöronlar asla farklılaşmaz; bu simetriyi bozan sorundur. Rastgele başlatma simetriyi bozar, ancak ölçek çok önemlidir. Çok büyükse aktivasyonlar ve degradeler patlar; çok küçükler ve yok oluyorlar. Prensipli şemalar, sinyal varyansını katmanlar arasında kabaca sabit tutmak için varyansı katman boyutuna göre seçer. Xavier (Glorot) başlatma, değişkenliği giriş artı çıkış birimlerinin sayısına göre ölçeklendirir ve tanh ve sigmoid ağlara uyar. He (Kaiming) başlatma, giriş sayısına göre ölçeklenir ve ReLU'nun girdilerinin yarısını atmasını hesaba katarak onu ReLU tabanlı derin ağlar ve CNN'ler için standart haline getirir. İyi başlatma, normalleştirme ve uyarlanabilir optimize ediciler devreye girene kadar erken eğitimin istikrarlı kalmasını sağlar.
Teknik Bilgi
Amaç, aktivasyonların ve gradyanların varyansını katmandan katmana sabit tutmaktır. Xavier ağırlık farkını 2 / (fan_in + fan_out) olarak ayarlayarak simetrik aktivasyonlar için ileri ve geri geçişleri dengeliyor. Başlatma 2 / fan_in'i kullanıyor çünkü ReLU girişlerinin kabaca yarısını sıfırlıyor, böylece varyansın iki katına çıkması kayıp sinyali telafi ediyor. Simetri zaten rastgele ağırlıklar tarafından kırıldığı için önyargılar tipik olarak sıfıra başlatılır.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Ağırlık Başlatmanın Geleceği
Normalleştirme katmanları ve artık bağlantılar, eğitimi tam başlatmaya karşı daha az duyarlı hale getirdi, ancak bu, çok derin veya normalleştirmeden bağımsız ağlar için hala önemlidir. Aktif araştırma, transformatörlere ve dikkatlere göre uyarlanmış şemaları, ağların herhangi bir normalleştirme katmanı olmadan eğitilmesine izin veren yöntemleri ve yalnızca başlatmadan eğitilebilirliği öngören dinamik izometri ve sinirsel tanjant çekirdeği gibi teorileri içerir. Bir numune partisinden terazileri kalibre eden veriye bağlı başlatma, başka bir büyüme yönüdür.
Gerçek Dünya Uygulaması
ReLU aktivasyonlarını kullanan bir CNN, He başlatma ile başlatılır, böylece derin evrişimli yığınlar kaybolan sinyaller olmadan eğitilir.
Tanh aktivasyonlarına sahip bir ağ, aktivasyon varyansını katmanlar arasında sabit tutmak için Xavier başlatmayı kullanır.
Yanlışlıkla tüm ağırlıkları sıfıra başlatan bir mühendis, her nöron aynı kaldığı için ağın öğrenmede başarısız olduğunu görür.
Çerçeve varsayılanları (PyTorch'un Kaiming'i, Keras'ın Glorot üniforması), bir katman oluşturulduğunda otomatik olarak ilkeli başlatmayı uygular.
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Weight Initialization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Stokastik Ağırlık Ortalaması
Sık sorulan sorular
What is Weight Initialization?
Eğitim başlamadan önce bir sinir ağının başlangıç ağırlıklarını nasıl ayarlayacağınız; bu, sinyallerin ve degradelerin derin katmanlar boyunca sağlıklı kalıp kalmayacağını güçlü bir şekilde şekillendirir. İyi başlatma, hızlı yakınsama ile asla öğrenmeyen bir model arasındaki farktır.
Neden tüm ağırlıkları sıfıra ayarlamak ölümcül bir hatadır?
Aynı ağırlıklarla, her nöron aynı çıktıyı ve gradyanı hesaplar, böylece aynı şekilde güncellenirler ve katman hiçbir zaman farklı özellikleri öğrenemez.
O (Kaiming) başlatma, hangi aktivasyon fonksiyonu için özel olarak tasarlanmıştır?
Başlatma, ReLU'nun girişlerinin yaklaşık yarısını sıfırlamasını telafi etmek için varyansı 2 / fan_in oranında ölçeklendirir.
Prensipli ağırlık başlatma şemalarının ana hedefi nedir?
Xavier ve He gibi şemalar, katman boyutlarından ağırlık farklılığını seçiyor, böylece sinyaller yayıldıkça ne kayboluyor ne de patlıyor.
Xavier (Glorot) başlatma, hangi aktivasyonları kullanan ağlar için en uygunudur?
Xavier, tanh ve sigmoid gibi simetrik, doygun aktivasyonlar için ileri ve geri varyansı dengeler.
Başlatma işlemi neden 1/fan_in yerine 2/fan_in varyansını kullanıyor?
ReLU yalnızca pozitif girişleri iletir ve sinyalin yaklaşık yarısını atar, böylece varyansın iki katına çıkarılması beklenen aktivasyon varyansını geri yükler.