Gruplandırılmış Sorgu Dikkati
Gruplandırılmış Sorgu Dikkati (GQA), birden fazla sorgu kafasının aynı anahtarı ve değer kafalarını paylaşmasına izin vererek metin oluşturma sırasında ihtiyaç duyulan belleği azaltmanın bir yoludur.
Genel Bakış
It makes large models much faster to serve with almost no quality loss.
Derin Dalış
Standart çok kafalı dikkat katmanında her kafanın kendi sorguları, anahtarları ve değerleri vardır. Oluşturma sırasında, önceki tüm belirteçlerin anahtarları ve değerleri önbelleğe alınır ('KV önbellek'), böylece model bunları yeniden hesaplamaz. Birçok başlık ve uzun bağlamlarla bu önbellek çok büyük hale gelir ve çıkarım zamanında bellek bant genişliğine hakim olur. Google araştırmacıları tarafından 2023'te tanıtılan GQA, sorgu başlıklarını gruplandırır ve her gruba tek bir paylaşılan anahtar ve değer başlığı seti verir. 32 sorgu başlığınız ancak yalnızca 8 KV grubunuz varsa, KV önbelleği kabaca dört kat küçülür. Bu, tam çok kafalı dikkat (her kafa ayrı) ile çoklu sorgu dikkati (tüm kafalar için paylaşılan bir KV) arasında yer alır ve kaliteyi tam dikkatte tutarken MQA hızının çoğunu yakalar. Llama 2 70B ve sonraki birçok model bunu benimsedi.
Teknik Bilgi
Dikkat kalitesi, büyük ölçüde birçok farklı sorgu yönüne sahip olmasına bağlıdır, ancak anahtarların ve değerlerin paylaşılmasını tolere eder. GQA bu asimetriden yararlanır: tüm sorgu başlıklarını tutar ancak her paylaşılan KV kafasını kendi grubundaki sorgular arasında çoğaltır. Tasarruflar, KV önbelleğinin bellek bant genişliğinin ana tüketicisi olduğu çıkarımda gelir; daha az KV kafası, oluşturulan jeton başına okunacak daha az veri anlamına gelir. Modeller genellikle mevcut çok başlı kontrol noktasını DQA kontrol noktasına dönüştürmek için kısa süreliğine 'yükseltilir'.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Gruplandırılmış Sorgu Dikkatinin Geleceği
GQA artık açık ağırlıklı modellerde standart bir varsayılandır çünkü büyük porsiyon kazançları için küçük bir kalite maliyetini temiz bir şekilde takas eder. FlashAttention, KV-önbellek nicelemesi gibi diğer verimlilik hileleriyle ve önbelleği daha da sıkıştıran çok kafalı gizli dikkat gibi daha yeni planlarla giderek daha fazla birleşmesini bekleyin. Bağlam pencereleri büyüdükçe, KV önbellek boyutunu kontrol etmek merkezi bir tasarım sorunu olmaya devam edecek ve GQA tarzı kafa paylaşımı önemli bir kaldıraç olmaya devam edecek.
Gerçek Dünya Uygulaması
Llama 2 70B ve Llama 3, daha küçük bir KV önbelleğiyle uzun bağlamlara hizmet etmek için GQA kullanıyor
Büyük bir sohbet modelinin daha az veya daha ucuz hızlandırıcılara sığması için GPU belleğinin azaltılması
KV-önbellek bant genişliğinin darboğaz olduğu üretim API'lerinde jeton bazlı üretimin hızlandırılması
Belleği tüketmeden aynı anda birden fazla kullanıcıya hizmet vermek için daha büyük toplu iş boyutlarının etkinleştirilmesi
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Grouped-Query Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Çoklu Sorgu Dikkati
Sık sorulan sorular
What is Grouped-Query Attention?
Gruplandırılmış Sorgu Dikkati (GQA), birden fazla sorgu kafasının aynı anahtarı ve değer kafalarını paylaşmasına izin vererek metin oluşturma sırasında ihtiyaç duyulan belleği azaltmanın bir yoludur. Büyük modellerin neredeyse hiç kalite kaybı olmadan çok daha hızlı hizmet vermesini sağlar.
Gruplandırılmış Sorgu Dikkatinde, bir grup sorgu kafası arasında neler paylaşılır?
GQA ayrı sorgu kafaları tutar ancak her grubun bir anahtar ve değer kafası kümesini paylaşmasına izin vererek KV önbelleğini daraltır.
GQA en iyi şekilde hangi iki uç arasında bir orta yol olarak tanımlanır?
Çok kafalı her kafaya kendi KV'sini verir; çoklu sorgu tüm kafalar için bir KV'yi paylaşır; GQA birkaç KV grubunun arasında yer alır.
GQA öncelikli olarak çıkarımın hangi kısmını daha ucuz hale getirir?
Tasarruflar, KV önbelleğinin okunmasının baskın bellek bant genişliği maliyeti olduğu üretim zamanında ortaya çıkıyor.
Bir modelde 32 sorgu başlığı ve 8 KV grubu varsa KV önbelleği kabaca hangi faktörle azalır?
32 sorgu kafasının 8 paylaşılan KV grubuna bölünmesi, önbelleğe alınan anahtar ve değerlerde kabaca dört kat azalma sağlar.
GQA, KV kafalarını paylaşmasına rağmen neden modelin kalitesinin çoğunu koruyabiliyor?
Dikkat, anahtarların ve değerlerin paylaşılmasını, farklı sorgu yönlerini kaybetmeye dayandığından çok daha iyi tolere eder, böylece GQA kaliteyi yüksek tutar.