Dikkat Mekanizmaları
Dikkat, bir modelin, her bir kelimeyi yorumlarken bir cümledeki diğer hangi kelimelerin en önemli olduğuna karar vermesine olanak tanır.
Genel Bakış
It is the core idea that made the transformer — and therefore modern AI like ChatGPT — possible.
Derin Dalış
Dikkat, her kelime için basit bir soruyu yanıtlıyor: Bunu anlamak için başka hangi kelimelere bakmalıyım? Vaswani ve Google'deki meslektaşları tarafından hazırlanan 'İhtiyacınız Olan Tek Şey Dikkat' 2017 makalesi, dikkati ana motoru olarak kullanan ve eski tekrarlayan tasarımları bırakan transformatörü tanıttı. Her jeton üç vektöre dönüştürülür: bir sorgu (ne arıyorum?), bir anahtar (ne sunuyorum?) ve bir değer (taşıdığım bilgi). Bir belirtecin sorgusu, dikkat ağırlıkları oluşturmak için diğer tüm belirteçlerin anahtarlarıyla karşılaştırılır ve bu daha sonra değerleri bir araya getirir. Kişisel dikkat bunu tek bir sırayla yapar, böylece her kelime diğer kelimelerle doğrudan ilgilenir. Çok kafalı dikkat, her biri farklı kalıplara odaklanan bu tür pek çok karşılaştırmayı paralel olarak yürütür.
Teknik Bilgi
Matematik, dikkatin nokta çarpımı ile ölçeklendirilmiştir: softmax(QK^T / √d_k) V. Sorguların ve anahtarların nokta çarpımı, her bir çiftin ne kadar alakalı olduğunu puanlar; anahtar boyutun (√d_k) kareköküne bölmek, bu puanların çok fazla büyümesini önler; softmax bunları toplamı bir olan ağırlıklara dönüştürür; ve V ile çarpmak, ağırlıklı bir değer karışımı üretir. Her jeton birbiriyle karşılaştırıldığından, maliyet dizi uzunluğunun karesiyle (O(n²)) artar; bu da uzun girdilerin pahalı olmasının ve FlashAttention gibi optimizasyonların var olmasının nedenidir.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Dikkat Mekanizmalarının Geleceği
Dikkat kalıcıdır, ancak ikinci dereceden maliyeti yoğun araştırmaları teşvik etmektedir. FlashAttention, hesaplamayı yeniden düzenleyerek standart dikkati çok daha hızlı ve bellek açısından daha verimli hale getirdi. Daha yeni yönelimler arasında seyrek ve doğrusal dikkat, oluşturma sırasında belleği daraltmaya yönelik gruplandırılmış ve çoklu sorgu dikkati ve çok uzun girdiler için dikkati Mamba gibi durum-uzay modelleriyle birleştiren hibrit tasarımlar yer alıyor. Gelecekteki sistemlerin maliyet eğrisini bükerken dikkatin esnekliğini koruyacağını ve böylece kitap uzunluğundaki veya çoklu belge girişlerinin işlenmesinin rutin ve uygun fiyatlı hale gelmesini bekleyebilirsiniz.
Gerçek Dünya Uygulaması
Modelin, çevrilen her kelimeyi üretirken ilgili kaynak kelimelerle ilgilendiği makine çevirisi.
Dikkatin modelin uzun bir makaledeki en önemli cümlelere odaklanmasına yardımcı olduğu özetleme.
Bir sonraki satırı tahmin ederken önceki değişken tanımlarına geri dönen kod yardımcıları.
Dikkatin soru sözcüklerini yanıtı içeren pasajla ilişkilendirdiği bir belge üzerinden soru yanıtlama.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Attention Mechanisms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Sürgülü Pencere Dikkat
Sık sorulan sorular
What is Attention Mechanisms?
Dikkat, bir modelin, her bir kelimeyi yorumlarken bir cümledeki diğer hangi kelimelerin en önemli olduğuna karar vermesine olanak tanır. Transformatörü ve dolayısıyla ChatGPT gibi modern yapay zekayı mümkün kılan temel fikir budur.
Tek cümle ile dikkat mekanizması ne işe yarar?
Dikkat, temsilini oluştururken her bir tokenın diğer tokenlardan ne kadar çekmesi gerektiğine karar veren ağırlıkları hesaplar.
Hangi dönüm noktası niteliğindeki 2017 makalesi transformatör mimarisini tanıttı?
'İhtiyacınız Olan Tek Şey Dikkat' (Vaswani ve diğerleri, 2017), tekrarlama yerine dikkati temel alan dönüştürücüyü önerdi.
Dikkatteki her jeton için hesaplanan üç vektör nelerdir?
Her belirteç bir sorgu, bir anahtar ve bir değer üretir; Değerleri ağırlıklandırmak için sorgular anahtarlarla eşleştirilir.
Softmax(QK^T / √d_k) V formülünde neden √d_k'ye bölelim?
Anahtar boyutun kareköküne göre ölçeklendirme, softmax'ı küçük degradelere itecek büyük nokta ürünlerini önleyerek eğitimi sabit tutar.
Neden standart kişisel dikkat çok uzun girdiler için pahalı hale geliyor?
Her jeton diğer jetonlarla ilgilenir, dolayısıyla karşılaştırmaların sayısı n² olarak ölçeklenir, bu da uzun dizilerin zaman ve bellek açısından maliyetli olmasına neden olur.