SıradakiSonraki rehber
Bağlam Uzantısı için Konum Enterpolasyonu
Dil Yapay Zeka
Teknik KILAVUZ
Uzun Bağlam için Konumsal İnterpolasyon
Konumsal İnterpolasyon (PI), yeni konum endekslerini modelin zaten bildiği aralığa sıkıştırarak Transformer'ın bağlam penceresini genişleten basit ve etkili bir tekniktir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Genel Bakış
Görünmeyen konumlara ekstrapolasyon yapmak yerine, eğitilmiş konumlara enterpolasyon yapar ve yalnızca kısa bir ince ayar gerektirir.
Derin Dalış
Meta araştırmacıları (Chen ve diğerleri) tarafından 2023'te tanıtılan Konumsal İnterpolasyon, RoPE'li modellerin eğitimin ötesindeki konumlara tahmin yaparken felaketle sonuçlanabileceği gerçeğini ele alıyor. Bu anlayış mantık dışıdır: PI, modelden daha önce görmediği daha büyük konum değerlerini işlemesini istemek yerine, gelen konum endekslerini bir ölçek faktörüne böler, böylece örneğin 8K'lık bir hedef uzunluğu orijinal 2K aralığına geri döner. Model bu aralıkta eğitildiğinden rotasyonlar dağıtımda kalır. Yalnızca 1.000 ince ayar adımından sonra, bir LLaMA modeli bu şekilde 32K bağlamına kadar genişletildi. Makale, ekstrapolasyonun dikkat puanlarını çok büyük değerlere çıkarabileceğini, enterpolasyonun ise onları sınırlı ve istikrarlı tuttuğunu, bu nedenle enterpolasyonun ekstrapolasyondan çok daha iyi çalıştığını gösterdi.
Gerçek Dünya Uygulaması
2K bağlamlı bir LLaMA modelini yaklaşık 1.000 ince ayar adımıyla 8K-32K tokenleri işleyecek şekilde genişletme
Sıfırdan yeniden eğitim gerektirmeden uzun belge özetleme için mevcut bir sohbet modelini uyarlama
NTK uyumlu ölçeklendirmenin ve YaRN'nin geliştireceği kavramsal temel olarak hizmet etmek
Orijinal olarak kısa pencerelerle eğitilmiş modellerde uzun bağlam kodunu veya yasal belge analizini etkinleştirme
Uzun Bağlam İçin Konumsal İnterpolasyonun Geleceği
Konumsal Enterpolasyon, yerel ayrıntıları korumak için daha seçici bir şekilde enterpolasyon yapan NTK uyumlu ölçeklendirme ve YaRN dahil olmak üzere bir takip dalgasının temeli haline geldi. Gidişat, çok az veya hiç ince ayar gerektirmeyen yöntemlere ve uzun bağlam işlemeyi ön eğitime dönüştürmeye yöneliktir. PI değerli bir temel olmaya devam ediyor ve 128K'dan fazla bağlam penceresine verimli bir şekilde ulaşmak için sıklıkla daha yeni frekansa duyarlı şemalarla birleştirilir.
Uygulamaya koymak
Neden önemli?
- Maliyet ve bütçe. Mimari kararlar yıllarca performansı ve işletme maliyetini etkiler.
- Daha net kararlar. Teknik eğitim, ekiplerin yalnızca en yenisini değil, doğru yığını seçmesine de yardımcı olur.
- Kalite kontrolü. Daha iyi mühendislik seçenekleri, üretimdeki güvenilirlik olaylarını azaltır.
Dikkat edin
- Bir kıyaslamayı optimize etmek daha geniş sistem zayıflıklarını gizleyebilir.
- Altyapı ve bakım maliyetleri genellikle hafife alınır.
- Sistemler karmaşıklaştıkça güvenlik ve gözlemlenebilirlik boşlukları büyüyebilir.
Sonraki adımlar
- Uygulamadan önce gecikmeyi, kaliteyi ve maliyet hedeflerini tanımlayın.
- Gerçekçi yük ve veri koşulları altında kıyaslama yapın.
- Hatalar, sapmalar ve kullanıcı etkisi için cihaz izleme.
- Ölçeklendirmeden önce geri alma ve olay müdahale yollarını hazırlayın.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Positional Interpolation for Long Context quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
Uzun Bağlam için Konumsal İnterpolasyon Nedir?
Konumsal İnterpolasyon (PI), yeni konum endekslerini modelin zaten bildiği aralığa sıkıştırarak Transformer'ın bağlam penceresini genişleten basit ve etkili bir tekniktir. Görünmeyen konumlara ekstrapolasyon yapmak yerine, eğitilmiş konumlara enterpolasyon yapar ve yalnızca kısa bir ince ayar gerektirir.
Konumsal İnterpolasyonun arkasındaki temel fikir nedir?
PI, konum endekslerini bir ölçek faktörüne göre böler, böylece daha uzun diziler eğitilmiş konum aralığına geri döner ve rotasyonları dağıtımda tutar.
Daha uzun pozisyonlara yönelik saf tahminler neden başarısız oluyor?
PI makalesi, görülmeyen büyük pozisyonların, eğitimden daha büyük dikkat puanları üretebileceğini ve softmax'ın istikrarını bozabileceğini gösterdi.
Orijinal PI çalışmasının LLaMA'yı 32K'ya genişletmek için kabaca ne kadar ince ayar yapması gerekiyordu?
Makale, içeriği 32 bin tokene kadar genişletmek için yaklaşık 1000 ince ayar adımının yeterli olduğunu bildirdi.
Bağlamı bir s faktörü kadar genişletirseniz, PI bir m konumunu nasıl dönüştürür?
PI, yeni daha geniş aralığı orijinal eğitilmiş aralığa sıkıştırarak m konumunu m/s'ye yeniden ölçeklendirir.
PI, YaRN gibi daha sonraki yöntemleri nasıl etkiledi?
PI enterpolasyonu güvenli yaklaşım olarak belirledi; NTK uyumlu ölçeklendirme ve YaRN, frekansları daha seçici bir şekilde enterpolasyona tabi tutarak bunu geliştirdi.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi