SıradakiSonraki rehber
Bağlam Uzantısı için Konum Enterpolasyonu
Dil Yapay Zeka
Teknik KILAVUZ
YaRN ve Bağlam Uzunluğu Uzantısı
YaRN (Yine başka bir RoPE uzantısı), bir modelin kullanılabilir bağlam penceresini üzerinde eğitim verildiğinin çok ötesine genişletmek için etkili bir tekniktir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Derin Dalış
Çoğu modern LLM, sorgu ve anahtar vektörleri konuma bağlı açılara göre döndüren RoPE (Döner Konum Yerleştirmeleri) ile jeton konumlarını kodlar. Eğitim uzunluğundan daha uzun dizileri beslediğinizde, bu rotasyonlar görünmeyen aralıklara girer ve model bozulur. Bowen Peng ve işbirlikçileri tarafından 2023 yılında piyasaya sürülen YaRN, bunu frekans başına uygulanan NTK uyumlu enterpolasyonla düzeltiyor: düşük frekanslı boyutları (uzun menzilli konumu izleyen) enterpolasyon yaparken (yerel, kısa menzilli ilişkileri yakalayan) yüksek frekanslı boyutları çoğunlukla dokunulmadan bırakıyor. YaRN ayrıca daha uzun bağlamlardan kaynaklanan entropi değişikliklerine karşı koymak için dikkati bir sıcaklık ayarına da ekler. Sonuç, verilerin yalnızca küçük bir kısmında ince ayar yapıldıktan ve basit yaklaşımların gerektirdiği adımların ardından güçlü uzun bağlam performansıdır.
Gerçek Dünya Uygulaması
Kısa ince ayar ile uzun belgeli soru yanıtlaması için açık bir 4K bağlam modelini 32K veya 128K'ya genişletme
Alma destekli sistemlerin birçok birleştirilmiş pasajı kesme olmadan almasına olanak sağlama
Tek bir komut isteminde büyük bir depo dosyasının tamamına veya birden fazla dosyaya ihtiyaç duyan kod yardımcılarına güç verilmesi
Büyük sohbet geçmişlerini biriktiren uzun, çok turlu görüşmeler için temel bir modelin uyarlanması
YaRN'nin Geleceği ve Bağlam Uzunluğu Uzantısı
Bağlam genişletme artık standart bir uygulamadır: Açık modeller rutin olarak 128K token veya ötesine ulaşan YaRN-genişletilmiş varyantları göndermektedir. Araştırma, bağlamı sıfır veya sıfıra yakın ince ayar ile genişleten, RoPE yeniden ölçeklendirmesini dikkat modeli hileleriyle birleştiren ve kaliteyi yalnızca uçlar yerine tüm pencere boyunca koruyan yöntemlere doğru ilerliyor. Bu tekniklerin ön eğitime daha sıkı entegre edilmesini bekleyin, böylece bağlam sonradan uyarlanmak yerine yerel olacaktır.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the YaRN and Context Length Extension quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
What is YaRN and Context Length Extension?
YaRN (Yine başka bir RoPE uzantısı), bir modelin kullanılabilir bağlam penceresini üzerinde eğitim verildiğinin çok ötesine genişletmek için etkili bir tekniktir. Döner konum yerleştirmelerini akıllıca yeniden ölçeklendirir, böylece örneğin 4K jetonlar üzerinde eğitilmiş bir model, minimum ince ayar ile 32K veya daha fazlasını işleyebilir.
YaRN, bağlamı genişletmek için hangi konum kodlama yöntemini değiştirir?
Adı Başka bir RoPE uzantısı anlamına gelen YaRN, çoğu modern LLM'de kullanılan döner konum yerleştirmelerini yeniden ölçeklendiriyor.
Bir RoPE modeli eğitim uzunluğundan daha uzun diziler gördüğünde ne yanlış olur?
Eğitimin ötesindeki konumlar, modelin hiç görmediği dönüş açıları üretir, dolayısıyla dikkat davranışı keskin bir şekilde azalır.
YaRN farklı RoPE frekans boyutlarını nasıl ele alıyor?
YaRN, uzun dalga boyundaki düşük frekanslı kararmaları enterpolasyona tabi tutan ve kısa menzilli yüksek frekanslı kararmaları çoğunlukla bozulmadan bırakan bir NTK parça rampası kullanır.
Frekansları yeniden ölçeklendirmenin yanı sıra YaRN hangi ekstra ayarlamayı uygular?
YaRN, bağlam büyüdükçe ortaya çıkan entropi değişimlerini engellemek için dikkat logitlerine bir sıcaklık ölçeklendirmesi ekler.
YaRN'nin saf enterpolasyona göre önemli pratik avantajı nedir?
YaRN, saf yöntemlerin gerektirdiği verilerin küçük bir kısmında ince ayar yapıldıktan sonra güçlü uzun bağlam kalitesine ulaşır.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi