Bağlam İçi Öğrenme
Bağlam içi öğrenme, büyük dil modellerinin, herhangi bir yeniden eğitim gerektirmeden, istemde yer alan birkaç örnekten yeni bir görevi alabilme konusundaki şaşırtıcı yeteneğidir.
Genel Bakış
It is the reason you can 'teach' a model on the fly just by showing it what you want.
Derin Dalış
Normalde bir sinir ağına yeni bir görev öğretmek, eğitim yoluyla ağırlıklarını güncellemek anlamına gelir. Bağlam içi öğrenme farklıdır: Doğrudan bilgi istemine ("bağlam") birkaç örnek yazarsınız ve model, modeli çıkarır ve onu yeni bir girdiye uygular. Modelin içinde hiçbir şey değişmiyor; örnekler sadece bir sonraki jeton tahminini yönlendiriyor. 'Sıfır atış' (yalnızca talimat), 'tek atış' (bir örnek) ve 'birkaç atış' (birkaç örnek) duyacaksınız. Bu davranış 2020'de GPT-3 tarafından popüler hale getirildi ve ortaya çıkan bir yetenek olduğu ortaya çıktı: Küçük modeller bunu yapamaz, ancak kabaca 100 milyar parametreli ölçeğin ötesinde, birkaç atışlık komutların doğruluğu keskin bir şekilde artıyor. Model, ön eğitim sırasında kalıpları tanımayı ve sürdürmeyi etkili bir şekilde öğrendi, böylece bu beceriyi çıkarım zamanında yeniden kullanabilir.
Teknik Bilgi
Yorumlanabilirlik araştırması, bu yeteneğin büyük bir kısmının, eğitim sırasında ortaya çıkan ve bulanık önek eşleştirmesi gerçekleştiren dikkat devreleri olan "tümevarım kafalarına" dayandığını ortaya çıkardı: benzer bir tokenin göründüğü yeri geriye doğru tararlar ve ardından onu takip edenleri kopyalarlar. Dolayısıyla isteminiz 'elma -> meyve, havuç -> sebze' gösterdiğinde model yapıyla eşleşir ve bir sonraki öğe için doğru etiketi tahmin eder. Önemli olan, çıkarımda hiçbir gradyan akışı ve ağırlık güncellemesi olmamasıdır. Örnekler, bir sonraki jeton olasılık dağılımını besleyen aktivasyonları yeniden şekillendiriyor.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Bağlam İçi Öğrenmenin Geleceği
Genişleyen bağlam pencereleri (artık yüzbinlerce belirteç), bağlam içi öğrenmeyi, düzinelerce veya yüzlerce örneğin hiçbir eğitim maliyeti olmadan bazı görevler için ince ayar yapmaya rakip olabileceği 'çoklu atış' rejimlerine doğru itiyor. İlgili örneklerin otomatik olarak getirilmesi ve bağlam içi öğrenmenin ne zaman başarısız olduğu veya dikkatin dağıldığı konusunda daha iyi teoriler elde edilmesi için geri getirme ile daha sıkı bir entegrasyon bekleyebilirsiniz. Bir modeli uyarlamanın hızlı ve ucuz yolu olmaya devam edecek; istikrarlı, yüksek hacimli görevler için ince ayarın yerine geçmek yerine onu tamamlayacak.
Gerçek Dünya Uygulaması
Bir chatbot'a üç örnek destek bildirimi ve bunların kategorilerini vermek, ardından yeni bir bildirimi aynı şekilde sınıflandırmasını sağlamak
Geri kalanını dönüştürecek şekilde temiz JSON olarak yeniden biçimlendirilen dağınık metin çiftlerinden iki önce/sonra bir model gösteriliyor
Yeni açıklamaların stile uyması için markanızın tarzına birkaç örnek ürün açıklaması yapıştırmak
Modelin benzer problemleri aynı akıl yürütme biçimiyle çözmesi için adım adım çalışılan zor bir matematik kelime probleminin gösterilmesi
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the In-Context Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Bağlam Pencereleri
Sık sorulan sorular
What is In-Context Learning?
Bağlam içi öğrenme, büyük dil modellerinin, herhangi bir yeniden eğitim gerektirmeden, istemde yer alan birkaç örnekten yeni bir görevi alabilme konusundaki şaşırtıcı yeteneğidir. Bir modele sadece ne istediğinizi göstererek anında 'öğretebilmenizin' nedeni budur.
Bağlam içi öğrenme sırasında modelin içinde temel olarak neler değişir?
Bağlam içi öğrenme tamamen çıkarımda gerçekleşir. Bilgi istemindeki örnekler, modelin aktivasyonlarını ve sonraki jeton tahminlerini şekillendirir ancak hiçbir ağırlık güncellenmez.
Bağlam içi öğrenme neden 'ortaya çıkan' bir yetenek olarak tanımlanıyor?
Küçük modellerde yetenek zayıftır veya yoktur ve modeller çok büyük ölçeğe ulaştığında dik bir şekilde tırmanır, bu yüzden buna ortaya çıkan denir.
Transformatörlerde bağlam içi öğrenmeyle en çok hangi iç mekanizma ilişkilidir?
Yorumlanabilirlik çalışması, bağlam içi öğrenmenin temel itici gücü olarak indüksiyon kafalarını (benzer bir tokenin nerede göründüğünü bulan ve ardından geleni kopyalayan dikkat devreleri) tanımladı.