YaRN ve Bağlam Uzunluğu Uzantısı
YaRN (Yine başka bir RoPE uzantısı), bir modelin kullanılabilir bağlam penceresini üzerinde eğitim verildiğinin çok ötesine genişletmek için etkili bir tekniktir.
Genel Bakış
It cleverly rescales rotary position embeddings so a model trained on, say, 4K tokens can handle 32K or more with minimal fine-tuning.
Derin Dalış
Çoğu modern LLM, sorgu ve anahtar vektörleri konuma bağlı açılara göre döndüren RoPE (Döner Konum Yerleştirmeleri) ile jeton konumlarını kodlar. Eğitim uzunluğundan daha uzun dizileri beslediğinizde, bu rotasyonlar görünmeyen aralıklara girer ve model bozulur. Bowen Peng ve işbirlikçileri tarafından 2023 yılında piyasaya sürülen YaRN, bunu frekans başına uygulanan NTK uyumlu enterpolasyonla düzeltiyor: düşük frekanslı boyutları (uzun menzilli konumu izleyen) enterpolasyon yaparken (yerel, kısa menzilli ilişkileri yakalayan) yüksek frekanslı boyutları çoğunlukla dokunulmadan bırakıyor. YaRN ayrıca daha uzun bağlamlardan kaynaklanan entropi değişikliklerine karşı koymak için dikkati bir sıcaklık ayarına da ekler. Sonuç, verilerin yalnızca küçük bir kısmında ince ayar yapıldıktan ve basit yaklaşımların gerektirdiği adımların ardından güçlü uzun bağlam performansıdır.
Teknik Bilgi
RoPE her gömme boyutuna bir dönüş frekansı atar. Saf doğrusal enterpolasyon, tüm frekansları eşit şekilde sıkıştırarak ince yerel ayrıntıları kodlayan yüksek frekans boyutlarına zarar verir. YaRN, yüksek frekanslı olanları korurken yalnızca düşük frekanslı (uzun dalga boyu) boyutları enterpolasyona tabi tutmak için bir rampa işlevi ve ayrıca dizi uzunluğu arttıkça softmax keskinliğini sabit tutan 1/sqrt(t) dikkat sıcaklığı ölçeklendirmesi kullanır. Bu NTK parça parça yaklaşımı, bağlamı çok daha az bozulmayla genişletir.
Stratejik Etki
Maliyet ve bütçe
Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
Daha net kararlar
Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
Quality control
Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
YaRN'nin Geleceği ve Bağlam Uzunluğu Uzantısı
Bağlam genişletme artık standart bir uygulamadır: Açık modeller rutin olarak 128K token veya ötesine ulaşan YaRN-genişletilmiş varyantları göndermektedir. Araştırma, bağlamı sıfır veya sıfıra yakın ince ayar ile genişleten, RoPE yeniden ölçeklendirmesini dikkat modeli hileleriyle birleştiren ve kaliteyi yalnızca uçlar yerine tüm pencere boyunca koruyan yöntemlere doğru ilerliyor. Bu tekniklerin ön eğitime daha sıkı entegre edilmesini bekleyin, böylece bağlam sonradan uyarlanmak yerine yerel olacaktır.
Gerçek Dünya Uygulaması
Kısa ince ayar ile uzun belgeli soru yanıtlaması için açık bir 4K bağlam modelini 32K veya 128K'ya genişletme
Alma destekli sistemlerin birçok birleştirilmiş pasajı kesme olmadan almasına olanak sağlama
Tek bir komut isteminde büyük bir depo dosyasının tamamına veya birden fazla dosyaya ihtiyaç duyan kod yardımcılarına güç verilmesi
Büyük sohbet geçmişlerini biriktiren uzun, çok turlu görüşmeler için temel bir modelin uyarlanması
Riskler ve Korkuluklar
Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
Altyapı ve bakım maliyetleri genellikle hafife alınır.
Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Uygulama Yol Haritası
Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the YaRN and Context Length Extension quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Bağlam Uzantısı için Konum Enterpolasyonu
Sık sorulan sorular
What is YaRN and Context Length Extension?
YaRN (Yine başka bir RoPE uzantısı), bir modelin kullanılabilir bağlam penceresini üzerinde eğitim verildiğinin çok ötesine genişletmek için etkili bir tekniktir. Döner konum yerleştirmelerini akıllıca yeniden ölçeklendirir, böylece örneğin 4K jetonlar üzerinde eğitilmiş bir model, minimum ince ayar ile 32K veya daha fazlasını işleyebilir.
YaRN, bağlamı genişletmek için hangi konum kodlama yöntemini değiştirir?
Adı Başka bir RoPE uzantısı anlamına gelen YaRN, çoğu modern LLM'de kullanılan döner konum yerleştirmelerini yeniden ölçeklendiriyor.
Bir RoPE modeli eğitim uzunluğundan daha uzun diziler gördüğünde ne yanlış olur?
Eğitimin ötesindeki konumlar, modelin hiç görmediği dönüş açıları üretir, dolayısıyla dikkat davranışı keskin bir şekilde azalır.
YaRN farklı RoPE frekans boyutlarını nasıl ele alıyor?
YaRN, uzun dalga boyundaki düşük frekanslı kararmaları enterpolasyona tabi tutan ve kısa menzilli yüksek frekanslı kararmaları çoğunlukla bozulmadan bırakan bir NTK parça rampası kullanır.
Frekansları yeniden ölçeklendirmenin yanı sıra YaRN hangi ekstra ayarlamayı uygular?
YaRN, bağlam büyüdükçe ortaya çıkan entropi değişimlerini engellemek için dikkat logitlerine bir sıcaklık ölçeklendirmesi ekler.
YaRN'nin saf enterpolasyona göre önemli pratik avantajı nedir?
YaRN, saf yöntemlerin gerektirdiği verilerin küçük bir kısmında ince ayar yapıldıktan sonra güçlü uzun bağlam kalitesine ulaşır.