Sıkıştırma ve Uyarma Ağları
Sıkıştırma ve Uyarma (SE) blokları, evrişimli bir ağın, her bir özellik kanalının ne kadar ağırlıklandırılacağını öğrenmesine ve bunları küresel bağlama göre yeniden kalibre etmesine olanak tanır.
Genel Bakış
This cheap attention-like mechanism won the 2017 ImageNet competition and became a standard CNN building block.
Derin Dalış
Hu, Shen ve Sun tarafından 2017'de tanıtılan SE bloğu, bir CNN'ye açık bir şekilde kanal dikkatini ekler. İki adımda çalışır. 'Sıkıştırma', her özellik haritasını (yükseklik x genişlik) tek bir sayıya daraltmak için küresel ortalama havuzlamayı kullanır ve kanal başına küresel aktivasyonunu özetleyen bir tanımlayıcı üretir. 'Uyarma', 0 ile 1 arasında kanal başına bir ağırlık oluşturmak için bu vektörü bir darboğazla (bir ReLU, ardından bir sigmoid) iki küçük, tamamen bağlantılı katmandan besler. Bu ağırlıklar, orijinal özellik haritalarını çoğaltır, faydalı kanalları güçlendirir ve ilgisiz olanları sönümler. SENet, ILSVRC 2017 sınıflandırma mücadelesini kazandı ve ilk 5 hatasını yaklaşık %2,25'e düşürdü. Blok yalnızca yüzde birkaç ekstra parametre ve hesaplama ekler ve minimum değişiklikle ResNet, Inception veya MobileNet'e yuva yapar.
Teknik Bilgi
Sıkıştırma, z_c'nin c kanalının uzamsal ortalaması olduğu C uzunluğunda bir z vektörü üretir. Uyarma, s = sigmoid(W2 * ReLU(W1 * z)) değerini hesaplar; burada W1, r (genellikle 16) azaltma oranıyla boyutu azaltır ve W2, ek maliyeti küçük tutarak boyutu geri yükler. Çıktı, kanal bazında s ile ölçeklendirilmiş giriş özellik haritasıdır. Bu, bir tür kendi kendini denetleme yöntemidir: Ağ, bu özel girdi için hangi kanalların önemli olduğuna küresel istatistiklerden karar verir.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Sıkıştırma ve Uyarma Ağlarının Geleceği
SE blokları verimli mimarilerin içinde yaşar: EfficientNet ve MobileNetV3 bunları yapı taşlarına yerleştirir. Bu fikir bir dikkat modülleri ailesinin tohumunu attı, CBAM mekansal dikkat ekliyor, ECA-Net darboğazı ucuz bir 1D evrişimle değiştiriyor ve bu hafif yeniden kalibrasyon hileleri artık algılama, segmentasyon ve hatta bazı görüntü dönüştürücü hibritlerde bile görülüyor. Evrişimlerin devam ettiği durumlarda kanal ilgisinin düşük maliyetli bir doğruluk aracı olarak kalmasını bekleyin.
Gerçek Dünya Uygulaması
SENet, ResNeXt omurgasına SE blokları ekleyerek ImageNet ILSVRC 2017 sınıflandırma yarışmasını kazandı
EfficientNet ve MobileNetV3, mobil cihazlarda doğruluğu artırmak için her bloğa SE modülleri yerleştirir
Nesne dedektörleri ve segmentasyon modelleri, bilgilendirici özellik kanallarını vurgulamak için SE blokları ekler
ECA-Net ve CBAM, SE fikrini daha ucuz veya mekansal farkındalıklı kanal yeniden kalibrasyonuyla genişletiyor
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Squeeze-and-Excitation Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Kapsül Ağları
Sık sorulan sorular
What is Squeeze-and-Excitation Networks?
Sıkıştırma ve Uyarma (SE) blokları, evrişimli bir ağın, her bir özellik kanalının ne kadar ağırlıklandırılacağını öğrenmesine ve bunları küresel bağlama göre yeniden kalibre etmesine olanak tanır. Bu ucuz dikkat benzeri mekanizma, 2017 ImageNet yarışmasını kazandı ve standart bir CNN yapı taşı haline geldi.
Bir SE bloğundaki 'sıkma' adımı ne işe yarar?
Sıkıştırma, her özellik haritasını kanal başına tek bir tanımlayıcıya daraltarak küresel ortalama havuzlamayı uygular.
'Uyarma' adımının çıktısı nedir?
Uyarma, sıkıştırılmış vektörü bir sigmoid ile biten iki FC katmanından geçirerek kanal başına ölçeklendirme ağırlıkları sağlar.
Orijinal özellik haritalarına uyarılma ağırlıkları nasıl uygulanır?
Her kanalın özellik haritası, öğrenilen ağırlığıyla çarpılarak o kanalı güçlendirir veya bastırır.
Uyarma neden azaltma oranına (genellikle 16) sahip bir darboğaz kullanıyor?
Darboğaz küçülür ve kanal boyutunu eski haline getirir, böylece SE bloğunun maliyeti yalnızca yüzde birkaç ekstradır.
SENet 2017'de hangi yarışmayı kazandı?
SENet, ILSVRC 2017 görüntü sınıflandırma yarışmasını kazanarak ilk 5 hata oranını kabaca %2,25'e çıkardı.