SıradakiSonraki rehber
Ortaokul İçin Yapay Zeka Okuryazarlığı Dersleri
Dil Yapay Zeka
Dil AI KILAVUZU
'Ortada kaybolma' etkisi, dil modellerinin bilgiyi uzun bir girdinin başında veya sonunda göründüğünde en iyi şekilde kullanma ve ortada gömülü gerçekleri gözden kaçırma eğilimidir.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu önemlidir çünkü alınan belgelerle ilgili uzun bağlam modellerine ne kadar güvenebileceğimizi sınırlar.
Liu ve Stanford'dan meslektaşları tarafından 2023 yılında yapılan bir çalışmada tanımlanan etki, modellere birçok belge verildiğinde ve anahtar gerçeği içeren birini kullanarak yanıt vermeleri istendiğinde ortaya çıktı. Doğruluk, U şeklinde bir eğri oluşturdu: İlgili pasaj istemin başında veya sonunda yer aldığında en yüksek, ortada yer aldığında ise belirgin şekilde daha düşüktü. Bu, uzun bağlam özellikli olarak pazarlanan modeller için bile geçerliydi. Erişimle artırılmış nesil için bunun anlamı keskindir: düzinelerce pasajın bir bilgi istemine doldurulması, modelin bunları eşit şekilde okuyacağını garanti etmez. Bir modelin bir olguya dikkat edip etmediğini yalnızca mevcudiyet değil konum da şekillendirir. Çalışma, uzun bağlamı ham pencere boyutu değil, etkili kullanım meselesi olarak yeniden çerçeveledi.
Bir RAG sistemi 20 belgeyi alıyor ancak 20 belgenin 10'uncu pasajına düştüğü için yanıtı kaçırıyor.
Mühendisler, istemde en alakalı öbeği ilk veya son sıraya koymak için arama sonuçlarını yeniden sıralar.
Uzun bir belge özetleyicisi, bir sözleşmenin ortasında ortaya çıkan önemli ayrıntıları hafife alır.
'Samanlıktaki iğne' kriteri, bir modelin konumsal doğruluğunun grafiğini çıkarmak için bir gerçeği değişen derinliklerde gizler.
Araştırmacılar bu etkiyi dikkat değişiklikleri, konuma duyarlı eğitim ve en alakalı pasajları istemin kenarlarına göre yeniden sıralayan daha akıllı erişim ile ele alıyor. Değerlendirme paketleri artık etkili bağlamı ölçmek için konumlar arasında 'samanlıkta iğne' testleri içeriyor. Mimariler geliştikçe U eğrisi düzleşiyor, ancak uygulayıcılar tek tip ilgiye güvenmek yerine kritik kanıtları modellerin gerçekte göründüğü yere yerleştiren boru hatları tasarlamaya devam edecekler.
Ücretsiz bülten
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
'Ortada kaybolma' etkisi, dil modellerinin bilgiyi uzun bir girdinin başında veya sonunda göründüğünde en iyi şekilde kullanma ve ortada gömülü gerçekleri gözden kaçırma eğilimidir. Bu önemlidir çünkü alınan belgelerle ilgili uzun bağlam modellerine ne kadar güvenebileceğimizi sınırlar.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Öğrenmeye devam et
Bu konu için daha fazla rehber seçildi
SıradakiSonraki rehber
Ortaokul İçin Yapay Zeka Okuryazarlığı Dersleri
Dil Yapay Zeka