Kendi Kendine Denetimli Öğrenme
Kendi kendini denetleyen öğrenme, cevabı verinin içinde saklı olan bir görev icat ederek modelleri etiketlenmemiş veriler üzerinde eğitir.
Genel Bakış
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
Derin Dalış
Verileri elle etiketlemek yavaş ve pahalıdır, ancak dünya etiketlenmemiş metin, resim, ses ve videoyla doludur. Kendi kendini denetleyen öğrenme, verinin kendi yanıtını sağladığı 'bahane görevleri' yaratarak bu sorunun kilidini açar. Bunun klasik örneği, BERT tarafından kullanılan maskelenmiş dil modellemesidir: Bir cümledeki bazı kelimeleri gizleyin ve modeli, bunları bağlamdan tahmin edecek şekilde eğitin. GPT tarzı modeller bir sonraki kelimeyi tahmin eder. Görüş alanında, SimCLR gibi karşılaştırmalı yöntemler, modele aynı görüntünün iki artırılmış görüntüsünü gösterir ve farklı görüntüleri birbirinden ayırırken modele bunların birbirine ait olduğunu öğretir. Kendi kendine yapılan bu bulmacaları çözmek, modeli anlam ve yapıya ilişkin zengin içsel temsiller oluşturmaya zorlar. Bu temsiller daha sonra çok az etiketli veriyle veya hiç etiketlenmemiş veriyle gerçek aşağı akış görevlerine güçlü bir şekilde aktarılır.
Teknik Bilgi
İşin püf noktası, ücretsiz olarak bir denetim sinyali üretmektir. Maskeli modellemede gizli belirteç etikettir, dolayısıyla kayıp herhangi bir insan açıklaması olmadan hesaplanabilir. Karşılaştırmalı öğrenmede, bir görüntünün iki büyütmesi, yerleştirme alanında birbirine yakın durması gereken bir 'pozitif çift' oluştururken, diğer görüntüler 'negatifler' bir kenara itilir. Her iki durumda da model, tamamen verinin kendi yapısından türetilen etiketler üzerinde optimize edilir ve daha sonra yalnızca hafif ince ayar gerektiren genel özellikler öğrenilir.
Stratejik Etki
Daha net kararlar
Açık teknik iddiaları pazarlama dilinden ayırmanıza yardımcı olur.
Maliyet ve bütçe
Para veya zaman harcamadan önce daha iyi uygulama soruları sorabilirsiniz.
Ekip ve iş akışı
Ortak anlayışa sahip ekipler daha iyi ürün, politika ve öğrenme kararları verir.
Kendi Kendine Denetimli Öğrenmenin Geleceği
Kendi kendini denetleyen öğrenme, günümüzün temel modellerinin arkasındaki motordur ve bu rol giderek büyüyecektir. Açık eğilim, tek bir modelin kendi kendini denetleyen hedefleri kullanarak metin, resim, ses ve videodan ortaklaşa öğrendiği çok modlu ön eğitime doğru yönündedir. Araştırmacılar, olumsuz örneklere ihtiyaç duymayan görme ve kendini damıtma tekniklerinde karşılaştırmalı yöntemlerin ötesine geçerek maskeli tahmin yaklaşımlarına doğru ilerliyorlar. Yüksek kaliteli etiketli veriler darboğaz haline geldikçe, yararlı yapıyı doğrudan geniş etiketsiz akışlardan öğrenmek, yapay zekayı ölçeklendirmenin merkezi stratejisi olmaya devam edecek.
Gerçek Dünya Uygulaması
BERT, maskelenmiş kelimeleri tahmin ederek, ardından arama, duyarlılık veya soru yanıtlama için ince ayar yaparak dili öğreniyor
SimCLR, daha sonra çok az etiketle sınıflandırma yapabilmesi için görüntü kodlayıcıyı etiketlenmemiş fotoğraflar üzerinde önceden eğitiyor
Devasa metin külliyatında bir sonraki jetonu tekrar tekrar tahmin ederek yazmayı öğrenen GPT tarzı modeller
Transkripsiyona uyarlanmadan önce ham etiketsiz ses (maskeli ses bölümlerini tahmin ederek) üzerinde önceden eğitilen konuşma modelleri
Riskler ve Korkuluklar
Farklı ekipler aynı terimi farklı şekilde kullanabilir; bu nedenle kapsamı erken tanımlayın.
Gerçek dünya performansı dengesizken karşılaştırmalar güçlü görünebilir.
Veri kalitesini ve değerlendirme planlarını göz ardı etmek çoğu zaman hassas sonuçlar doğurur.
Uygulama Yol Haritası
İhtiyacınız olan sonucun sade bir dille tanımlanmasıyla başlayın.
Test etmeden önce bir başarı ölçüsü ve bir başarısızlık koşulu seçin.
Gösterişli bir demo seti yerine, temsili verilerle küçük bir pilot çalışma yürütün.
Kendi Kendine Denetimli Öğrenmenin nerede yardımcı olduğunu ve daha basit yöntemlerin nerede daha iyi olduğunu belgeleyin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Denetimli Öğrenme
Sık sorulan sorular
What is Self-Supervised Learning?
Kendi kendini denetleyen öğrenme, cevabı verinin içinde saklı olan bir görev icat ederek modelleri etiketlenmemiş veriler üzerinde eğitir. Modern dil ve vizyon temel modelleri, insan etiketleyici orduları olmadan ham internetten bu şekilde öğreniyor.
Öğrenmeyi 'kendi kendini denetleyen' yapan şey nedir?
Kendi kendini denetleyen öğrenme, cevabın verilerde saklandığı bir bahane görevi icat eder, böylece insan etiketlemesine gerek kalmaz.
Kendi kendini denetleyen öğrenme temel modeller için neden bu kadar değerli?
Denetim sinyali verinin kendisinden geldiğinden, modeller web'deki devasa etiketsiz derlemler üzerinde önceden eğitilebilir.
Kendi kendini denetleyen ön eğitimden sonra genellikle bundan sonra ne olur?
Ön eğitim, iyi aktarılan genel temsiller oluşturur; dolayısıyla belirli görevler için etiketli veriler üzerinde yalnızca hafif ince ayarlar yapılması gerekir.
GPT tarzı bir modelin kendi kendini denetleyen görevinin BERT'lerden farkı nedir?
GPT tarzı modeller, sıradaki bir sonraki jetonu tahmin edecek şekilde eğitilirken BERT, hem sol hem de sağ bağlamı kullanarak maskelenmiş jetonları tahmin eder.