SıradakiSonraki rehber
Çevrimiçi ve Sert Negatif Madencilik
Teknik
Teknik KILAVUZ
Negatif Örnekleme ve Gürültü Karşılaştırmalı Tahmini
Negatif örnekleme ve Gürültü Karşılaştırmalı Tahmini (NCE), modellerin maliyetli bir tam softmax hesaplamadan çok sayıda kelime dağarcığı üzerinden öğrenmesine olanak tanıyan püf noktalarıdır.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Mümkün olan her çıktıyı puanlamak yerine, modele bir avuç sahte (olumsuz) örnekten gerçek (olumlu) örnekleri ayırmayı öğretiyorlar.
Derin Dalış
Bir kelime dağarcığında yüzbinlerce kelime olduğunda, normal bir softmax'ın her eğitim adımı için her kelimeyi normalleştirmesi gerekir; bu çok yavaştır. Gürültü Karşılaştırmalı Tahmini, sorunu ikili sınıflandırma olarak yeniden çerçevelendirir: Bir hedef ve bilinen bir dağılımdan alınan birkaç 'gürültü' örneği verildiğinde, gerçek örneği gürültüden ayırmayı öğrenin; bu, açık bir normalleştirme olmadan istenen olasılıkları örtülü olarak kurtarır. Word2vec'in skip-gram modeliyle popüler hale getirilen negatif örnekleme, basitleştirilmiş bir kuzendir: her doğru (kelime, bağlam) çifti için k negatifi örnekler ve sigmoid bir amaç kullanarak gerçek çifte yüksek puan ve sahtelere düşük puan atayacak şekilde modeli eğitir. Her ikisi de pahalı bir çok sınıflı problemi birçok ucuz ikili probleme dönüştürerek büyük ölçekli yerleştirme eğitimini pratik hale getirir. Gürültü dağılımının seçimi (çoğunlukla 3/4'e yükseltilmiş unigram) kaliteyi güçlü bir şekilde etkiler.
Gerçek Dünya Uygulaması
Tam bir softmax olmadan milyarlarca belirteçten kelime yerleştirmelerini öğrenen negatif örneklemeli word2vec atlama gramı.
Yüzbinlerce kelimeden oluşan kelime dağarcığını verimli bir şekilde eğitmek için tarihsel olarak NCE'yi kullanan dil modelleri.
İki kuleli yerleştirme modellerini eğitmek için kullanıcının etkileşimde bulunmadığı 'negatif' öğeleri örnekleyen öneri ve erişim sistemleri.
Varlık ilişkilerini öğrenmek için negatif örnekleri kullanan grafik ve bilgi-grafik yerleştirmeleri (örneğin, üçlünün başını veya kuyruğunu bozmak).
Negatif Örnekleme ve Gürültü Karşılaştırmalı Tahmininin Geleceği
Temel fikir - pozitifleri örneklenmiş negatiflerle karşılaştırarak öğrenmek - artık vizyon, dil ve öneri üzerinden modern, kendi kendini denetleyen ve karşılaştırmalı temsil öğrenimini desteklemektedir. Gelecekteki çalışmalar, katı negatif madenciliği (rastgele olanlar yerine bilgilendirici negatiflerin seçilmesi), yanlış negatifler için önyargıların azaltılması ve negatiflerin büyük bellek bankaları veya toplu örnekleme yoluyla ucuz bir şekilde ölçeklendirilmesine odaklanmaktadır. Modeller büyüdükçe, çıktı alanlarının veya aday kümelerinin büyük olduğu durumlarda (geri getirme ve büyük ölçekli öneriler gibi) etkili örneklenmiş hedefler esas olmaya devam ediyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Negative Sampling and Noise Contrastive Estimation quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Negatif Örnekleme ve Gürültü Karşılaştırmalı Tahmini Nedir?
Negatif örnekleme ve Gürültü Karşılaştırmalı Tahmini (NCE), modellerin maliyetli bir tam softmax hesaplamadan çok sayıda kelime dağarcığı üzerinden öğrenmesine olanak tanıyan püf noktalarıdır. Mümkün olan her çıktıyı puanlamak yerine, modele bir avuç sahte (olumsuz) örnekten gerçek (olumlu) örnekleri ayırmayı öğretiyorlar.
Negatif örnekleme ve NCE öncelikle hangi sorunu çözer?
Her iki yöntem de eğitimi daha ucuz ikili ayrımcılık olarak yeniden çerçevelendirerek devasa bir kelime dağarcığı üzerinden normalleşmeyi önler.
Gürültü Karşılaştırmalı Tahmini öğrenme görevini nasıl yeniden çerçeveliyor?
NCE, gerçek örnekleri bilinen bir gürültü dağılımından alınan örneklerden ayırt edecek şekilde modeli eğitir.
Kelime yerleştirmeleri öğrenmek için negatif örneklemeyi hangi model yaygınlaştırdı?
Negatif örnekleme, word2vec'in skip-gram çeşidi tarafından tanıtıldı ve popüler hale getirildi.
Negatif örneklemenin tam NCE'den farkı nedir?
Negatif örnekleme, normalleştirmeyi ortadan kaldırarak, olasılıksal doğruluğu hız ve iyi yerleştirmelerle değiştirerek NCE'yi basitleştirir.
Negatifler neden sıklıkla 3/4'e yükseltilmiş unigram dağılımından örnekleniyor?
0,75 üssü, sık kullanılan kelimelerin baskın olmaması ve nadir kelimelerin görünmeye devam etmesi için frekans dağılımını yumuşatır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi