SıradakiSonraki rehber
Yüksek Lisans Programlarında Bilgi Sonlandırma Tarihleri
Dil Yapay Zeka
Dil AI KILAVUZU
Yüksek Lisans'ta Ters Lanet
Ters lanet, 'A'nın B olduğunu' öğrenen bir dil modelinin 'B, A'dır' sorusunu güvenilir bir şekilde yanıtlayamadığı şaşırtıcı bir başarısızlık modudur. LLM'lerin gerçekleri simetrik bilgi olarak değil, tek yönlü ilişkiler olarak sakladığını ortaya koyuyor.
Bu kılavuzu dinleyinAI tarafından anlatılan · ~2 min
Bu sayfada2 dakika okuma
Derin Dalış
Berglund ve meslektaşlarının 2023 tarihli bir makalesinde belgelenen tersine çevirme laneti, bir model 'Tom Cruise'un annesi Mary Lee Pfeiffer'dır' konusunda eğitilirse, 'Mary Lee Pfeiffer'ın oğlu kim?' sorulduğunda genellikle başarısız olduğunu gösteriyor. Cevap mantıksal olarak aynı olmasına rağmen. Etki, model boyutları genelinde ve hatta bu tür yüzlerce gerçek üzerinde ince ayar yapıldıktan sonra bile devam eder. Bu bir hafıza boşluğu değildir: Model bilgiyi görmüştür, ancak yalnızca tek bir sırayla görmüştür. Eğitim, verilerdeki tam kelime sırası üzerinden sonraki belirteç tahminini optimize ettiğinden, A'dan B'ye istatistiksel bağlantı otomatik olarak B'den A'ya bir bağlantı oluşturmaz. Bu bulgu, ölçeğin tek başına gerçekler üzerinde esnek, insan benzeri akıl yürütme ürettiği yönündeki varsayımlara meydan okudu.
Gerçek Dünya Uygulaması
Bir chatbot, bir ünlünün ebeveynini doğru bir şekilde belirtiyor ancak bu ebeveynin ünlü çocuğunun adını vermesi istendiğinde başarısız oluyor.
Bir model 'dokuzuncu başkan William Henry Harrison'dı' diyor ama 'hangi numaralı başkanın William Henry Harrison olduğu' konusunda tökezliyor.
İşlevden açıklamaya eşlemeyi öğrenen bir kodlama asistanı, işlev adını yalnızca açıklamadan kurtaramaz.
'İlaç X, Durum Y'yi tedavi eder' konusunda eğitilmiş bir tıbbi QA sistemi, Y Durumunu neyin tedavi ettiği sorulduğunda İlacı X'i listelemiyor.
LLM'lerde Tersine Lanetin Geleceği
İncelenmekte olan azaltımlar arasında çift yönlü veri artırma (ters ifadeler ekleme), belirteçleri her iki yönde de tahmin eden eğitim hedefleri ve ezberlenmiş ağırlıklara dayanmak yerine gerçekleri simetrik olarak arayan erişim sistemleri yer alıyor. Bazı yeni mimariler ve ters ön eğitim deneyleri aradaki farkı azaltıyor. Sonraki jetonlu öğrenme ile gerçek dünya ilişkilerinin simetrik yapısı arasındaki derin uyumsuzluğu ortaya çıkardığı için lanetin küçülmesini ancak kaybolmamasını bekleyin.
Uygulamaya koymak
Neden önemli?
- Hız ve ölçek. Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
- Erişim ve erişim. Diller ve iletişim tarzları arasında erişimi genişletir.
- Daha net kararlar. Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Dikkat edin
- Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
- İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
- Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Sonraki adımlar
- Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
- Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
- Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
- Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Ücretsiz bülten
Günlük AI brifingini alın
Hafta içi her sabah sade İngilizce yazılmış, doğrulanmış üç yapay zeka hikayesi. Sonsuza kadar ücretsiz, reklam yok.
Hafta içi her gün bir e-posta. Tek tıklamayla aboneliğinizi iptal edin. Adresinizi asla satmayız veya paylaşmayız.
Kendinizi test edin
Take the Reversal Curse in LLMs quiz
Her yanıtla ilgili anında geri bildirim ve bir kursu geçtiğinizde doğrulanabilir bir kimliğe sahip paylaşılabilir bir sertifika.
Ücretsiz AI eğitimini destekleyin. AI Understanding, bir 501(c)(3) kâr amacı gütmeyen kuruluştur; hiçbir zaman reklam yoktur, ödeme duvarı yoktur. Bağış yap
Sık sorulan sorular
LLM'lerde Ters Lanet Nedir?
Ters lanet, 'A'nın B olduğunu' öğrenen bir dil modelinin 'B, A'dır' sorusunu güvenilir bir şekilde yanıtlayamadığı şaşırtıcı bir başarısızlık modudur. LLM'lerin gerçekleri simetrik bilgi olarak değil, tek yönlü ilişkiler olarak sakladığını ortaya koyuyor.
A model learned “A is B” but fails to answer “B is A.” What is this called?
The paper names this directional failure the reversal curse.
What does the reversal curse show about directional associations?
The paper reports that forward and reverse statements can behave differently.
Is the reversal curse simply a failure because the model never saw the fact?
The research tests failure on a reverse query after forward exposure.
Why might next-token training contribute to the effect?
The paper discusses sequence direction as relevant to the failure.
What does failure on a reverse query imply about model knowledge?
The finding challenges assumptions about flexible use of stored facts.
Öğrenmeye devam et
İlgili kılavuzlar
Bu konu için daha fazla rehber seçildi