Yüksek Lisans'ta Ters Lanet
Ters lanet, 'A'nın B olduğunu' öğrenen bir dil modelinin 'B, A'dır' sorusunu güvenilir bir şekilde yanıtlayamadığı şaşırtıcı bir başarısızlık modudur. LLM'lerin gerçekleri simetrik bilgi olarak değil, tek yönlü ilişkiler olarak sakladığını ortaya koyuyor.
Derin Dalış
Berglund ve meslektaşlarının 2023 tarihli bir makalesinde belgelenen tersine çevirme laneti, bir model 'Tom Cruise'un annesi Mary Lee Pfeiffer'dır' konusunda eğitilirse, 'Mary Lee Pfeiffer'ın oğlu kim?' sorulduğunda genellikle başarısız olduğunu gösteriyor. Cevap mantıksal olarak aynı olmasına rağmen. Etki, model boyutları genelinde ve hatta bu tür yüzlerce gerçek üzerinde ince ayar yapıldıktan sonra bile devam eder. Bu bir hafıza boşluğu değildir: Model bilgiyi görmüştür, ancak yalnızca tek bir sırayla görmüştür. Eğitim, verilerdeki tam kelime sırası üzerinden sonraki belirteç tahminini optimize ettiğinden, A'dan B'ye istatistiksel bağlantı otomatik olarak B'den A'ya bir bağlantı oluşturmaz. Bu bulgu, ölçeğin tek başına gerçekler üzerinde esnek, insan benzeri akıl yürütme ürettiği yönündeki varsayımlara meydan okudu.
Teknik Bilgi
Transformatörler, önceki bağlamda verilen bir sonraki jetonu tahmin ederek öğrenirler; bu nedenle degrade güncellemeleri, 'A'dan sonra B' yön haritalamasını güçlendirir, ancak bu sıra eğitimde de görünmediği sürece 'B'den sonra A'ya dokunulmaz. İki yön ayrı ağırlık yollarında yaşar. Araştırmacılar bunu log-olasılıklarını ölçerek doğruladılar: İleriye yönelik bir gerçeği öğrendikten sonra, ters ifadenin olasılığı taban çizgisine yakın kaldı ve eğitim sırasında örtülü bir mantıksal tersinmenin meydana gelmediğini gösterdi.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
LLM'lerde Tersine Lanetin Geleceği
İncelenmekte olan azaltımlar arasında çift yönlü veri artırma (ters ifadeler ekleme), belirteçleri her iki yönde de tahmin eden eğitim hedefleri ve ezberlenmiş ağırlıklara dayanmak yerine gerçekleri simetrik olarak arayan erişim sistemleri yer alıyor. Bazı yeni mimariler ve ters ön eğitim deneyleri aradaki farkı azaltıyor. Sonraki jetonlu öğrenme ile gerçek dünya ilişkilerinin simetrik yapısı arasındaki derin uyumsuzluğu ortaya çıkardığı için lanetin küçülmesini ancak kaybolmamasını bekleyin.
Gerçek Dünya Uygulaması
Bir chatbot, bir ünlünün ebeveynini doğru bir şekilde belirtiyor ancak bu ebeveynin ünlü çocuğunun adını vermesi istendiğinde başarısız oluyor.
Bir model 'dokuzuncu başkan William Henry Harrison'dı' diyor ama 'hangi numaralı başkanın William Henry Harrison olduğu' konusunda tökezliyor.
İşlevden açıklamaya eşlemeyi öğrenen bir kodlama asistanı, işlev adını yalnızca açıklamadan kurtaramaz.
'İlaç X, Durum Y'yi tedavi eder' konusunda eğitilmiş bir tıbbi QA sistemi, Y Durumunu neyin tedavi ettiği sorulduğunda İlacı X'i listelemiyor.
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
ChatGPT ve LLM'ler
Sık sorulan sorular
What is Reversal Curse in LLMs?
Ters lanet, 'A'nın B olduğunu' öğrenen bir dil modelinin 'B, A'dır' sorusunu güvenilir bir şekilde yanıtlayamadığı şaşırtıcı bir başarısızlık modudur. LLM'lerin gerçekleri simetrik bilgi olarak değil, tek yönlü ilişkiler olarak sakladığını ortaya koyuyor.
Tersine çevirme laneti neyi tanımlar?
Ters lanet, mantıksal olarak eşdeğer olmasına rağmen 'A, B'dir' eğitiminden 'B, A'dır' sonucunu çıkaramamaktır.
Ters lanet neden mekanik olarak ortaya çıkıyor?
Eğitim, bir sonraki jetonun tahminini tam olarak gözlemlenen sıraya göre optimize ettiğinden, ters eşleme, eğitimde de görünmediği sürece asla güçlendirilmez.
Model boyutunun arttırılması ters laneti güvenilir bir şekilde düzeltir mi?
Orijinal çalışma, lanetin çeşitli model boyutlarında geçerli olduğunu buldu; bu da ölçeğin tek başına sorunu çözmediğini gösteriyor.
Hangi hafifletme doğrudan tersine çevirme lanetini hedef alıyor?
Çift yönlü veri artırma, modeli hem "A, B'dir" hem de "B, A'dır" durumuna maruz bırakarak eksik ters ilişkilendirmeyi yaratır.
Araştırmacılar modelin ters gerçeği öğrenmediğini nasıl doğruladılar?
Tersine çevrilmiş ifadenin olasılığı, ileri eğitimden sonra taban çizgisine yakın kaldı ve bu da hiçbir mantıksal tersinmenin gerçekleşmediğini gösterdi.