SıradakiSonraki rehber
Sözde Etiketleme ve Kendi Kendine Eğitim
Teknik
Teknik KILAVUZ
BYOL ve Karşılaştırmalı Olmayan Öz Denetim
BYOL (Kendi Gizlinizi Önyükleme), herhangi bir etiket olmadan ve şaşırtıcı bir şekilde olumsuz örnekler olmadan yararlı görüntü temsillerini öğrenir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Bu, kendi kendini denetleyen öğrenmenin, çok sayıda negatife olan ihtiyacı göz ardı ederek farklı görüntüleri birbirinden ayırmaya dayanması gerekmediğini gösterdi.
Derin Dalış
İlk kendi kendini denetleyen yöntemlerin çoğu karşılaştırmalıydı: aynı görüntünün iki artırılmış görüntüsünü bir araya getirirken farklı görüntüleri birbirinden ayırdılar; bu da çökmeyi önlemek için birçok negatif örnek gerektiriyordu (burada ağ her şey için aynı vektörü çıkarıyor). BYOL, 2020'de DeepMind'dan negatifleri tamamen kaldırdı. İki ağ kullanır: çevrimiçi ağ ve hedef ağ. Bir görüntünün iki artırılmış görünümü iki ağdan geçer; çevrimiçi ağ bir tahmin başlığı ekler ve hedef ağın diğer görünümü temsilini tahmin etmek üzere eğitilir. Kritik olarak, hedef ağın ağırlıkları gradyan inişiyle eğitilmez. Bunun yerine çevrimiçi ağırlıkların üstel hareketli ortalamasıdır (EMA). Bu asimetri artı EMA hedefi, ImageNet'teki karşılaştırmalı temel çizgileri eşleştirmek veya yenmek için korkulan karşılaştırmalı yöntemlerin önemsiz çöküşünü önler.
Gerçek Dünya Uygulaması
Milyonlarca etiketsiz fotoğraf üzerinde görme omurgasını önceden eğitmek, ardından uzman açıklamalarının az olduğu küçük etiketli tıbbi görüntüleme veri kümesinde ince ayar yapmak.
Elle etiketlemeye gerek kalmadan ham kamera akışlarından robot algılama özelliklerinin öğrenilmesi, manipülasyon görevlerinin öğretim maliyetini azaltır.
Görsel olarak benzer görüntüleri herhangi bir sınıf etiketi olmadan gruplandıran BYOL yerleştirmelerini kullanarak görüntü alma ve veri tekilleştirme sistemleri oluşturma.
Arazi kullanımı veya ormansızlaşma sınıflandırması için ince ayar yapmadan önce, etiketlenmemiş geniş arşivlerde uydu veya havadan görüntü modellerinin başlatılması.
BYOL'un Geleceği ve Karşılaştırmalı Olmayan Öz Denetim
Tartışmasız fikirler artık kendi kendini denetleyen vizyonun büyük bir kısmını oluşturuyor. SimSiam, BYOL'u daha da azalttı ve durma gradyanı korunursa EMA hedefinin kesinlikle gerekli olmadığını gösterdi ve çökmenin neden önlendiğine dair anlayışı derinleştirdi. Bu etiketsiz ön eğitim tariflerinin maskeli görüntü modelleme ve çok modlu eğitimle birleşmeye devam etmesini ve etiketlerin az veya pahalı olduğu video, ses, tıbbi görüntüleme ve robot bilimine, genellikle hafif denetimli ince ayardan önceki ön eğitim aşaması olarak yayılmasını bekleyin.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the BYOL and Non-Contrastive Self-Supervision quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
BYOL ve Karşılaştırmalı Olmayan Öz Denetim nedir?
BYOL (Kendi Gizlinizi Önyükleme), herhangi bir etiket olmadan ve şaşırtıcı bir şekilde olumsuz örnekler olmadan yararlı görüntü temsillerini öğrenir. Bu, kendi kendini denetleyen öğrenmenin, çok sayıda negatife olan ihtiyacı göz ardı ederek farklı görüntüleri birbirinden ayırmaya dayanması gerekmediğini gösterdi.
What makes BYOL non-contrastive?
The BYOL paper highlights learning representations without negative pairs.
What does the online network learn to predict?
BYOL trains the online branch to predict the target representation across two views.
How are target-network weights updated?
The paper describes updating the target with a slow-moving average.
Why does BYOL use an online predictor and stop-gradient on the target side?
The BYOL method uses asymmetry and a stop-gradient as parts of its design.
What happens to two views of the same image in BYOL?
The paper learns by predicting one view’s target representation from another.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi