SıradakiSonraki rehber
RWKV Doğrusal Dikkat
Dil Yapay Zeka
Teknik KILAVUZ
Doğrusal Dikkat ve Performans Çekirdekleri
Doğrusal dikkat, Transformers'taki ikinci dereceden softmax dikkatini, dizi uzunluğuyla doğrusal olarak ölçeklenen bir matematik numarasıyla değiştirir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Performer is a landmark method that approximates softmax using random feature kernels, making very long sequences computationally affordable.
Derin Dalış
Standard Transformer dikkati her jeton çifti arasında bir puan hesaplar, bu da dizi uzunluğunun karesiyle (O(n^2)) büyüyen zaman ve belleğe mal olur. Doğrusal dikkat hesaplamayı yeniden yazar, böylece maliyet yalnızca doğrusal olarak artar (O(n)). Ana fikir: softmax dikkati softmax(QK^T)V'dir, ancak softmax'ı çekirdek özellik haritası phi ile değiştirirseniz phi(Q)(phi(K)^T V) elde edersiniz. Matris çarpımı ilişkisel olduğundan, önce phi(K)^T V'yi (küçük bir d'ye d matrisi) hesaplarsınız ve devasa n'ye n puan matrisinden tamamen kaçınırsınız. 2020'de Google'den Performer, FAVOR+ (Pozitif Ortogonal Rastgele özelliklerle Hızlı Dikkat) kullanarak bunu gerçek softmax'a sadık bir yaklaşım haline getiriyor ve çekirdek tahminlerini tarafsız ve istikrarlı tutan rastgele projeksiyonlar çiziyor.
Gerçek Dünya Uygulaması
Tam karesel dikkatin GPU belleğini tüketeceği uzun genomik veya protein dizilerinin işlenmesi
Performer tarzı bir omurga kullanarak çok uzun raporlar üzerinde parçalama olmadan belge düzeyinde özetleme
Sekansların on binlerce adıma yayıldığı verimli uzun biçimli ses veya zaman serisi modelleme
Bazı softmax katmanlarını doğrusal dikkat değişkenleriyle değiştirerek uzun bağlamlı sohbet modellerinde çıkarım maliyetini azaltmak
Doğrusal Dikkat ve Performans Çekirdeklerinin Geleceği
Saf doğrusal dikkat, kalite açısından çoğu zaman softmax'ı takip eder, bu nedenle alan hibritlere yaklaşır: durum-uzay modelleri (Mamba), geçitli doğrusal dikkat ve birkaç tam dikkat katmanını birçok doğrusal katmanla karıştıran mimariler. Bağlam pencereleri milyonlarca jetona doğru ilerlerken, doğrusal ve ikinci dereceden mekanizmalar maliyet açısından giderek daha çekici hale geliyor ve verimli akış çıkarımı ve cihaz üzeri modeller için yinelenen tarzdaki doğrusal dikkat yeniden gözden geçiriliyor.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Linear Attention and Performer Kernels quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is Linear Attention and Performer Kernels?
Doğrusal dikkat, Transformers'taki ikinci dereceden softmax dikkatini, dizi uzunluğuyla doğrusal olarak ölçeklenen bir matematik numarasıyla değiştirir. Performer, rastgele öznitelik çekirdekleri kullanarak softmax'a yaklaşan ve çok uzun dizileri hesaplama açısından uygun maliyetli hale getiren dönüm noktası niteliğinde bir yöntemdir.
Standart softmax dikkati dizi uzunluğuna göre neden zayıf ölçekleniyor?
Softmax dikkati her token çiftini karşılaştırarak n'ye n puan matrisi üretir, böylece maliyet O(n^2) kadar artar.
Hangi matematiksel özellik doğrusal dikkatin n'ye n matristen kaçınmasını sağlar?
Matris çarpımı ilişkisel olduğundan, önce phi(Q)phi(K)^T yerine küçük bir d-by-d matrisi olan phi(K)^T V'yi hesaplayabilirsiniz.
Performer'ın FAVOR+ mekanizması yaklaşık olarak ne kadardır?
FAVOR+, tam dikkat matrisini oluşturmadan üstel softmax çekirdeğine yaklaşmak için pozitif ortogonal rastgele özellikler kullanır.
Performer neden daha önceki trigonometrik özellikler yerine pozitif rastgele özellikler kullanıyor?
Pozitif özellikler, çekirdek tahminlerinin negatif olmamasını sağlar ve daha önceki sin/cos özellik haritalarını rahatsız eden kararsızlıklardan ve negatif değerlerden kaçınır.
n dizi uzunluğundaki Performansçı tarzı doğrusal dikkatin yaklaşık karmaşıklığı nedir?
Hesaplamayı yeniden düzenleyerek ve hiçbir zaman n'ye n matrisi oluşturmayarak maliyet, dizi uzunluğuyla doğrusal olarak ölçeklenir.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi