Önek Ayarı
Önek ayarlama, her katmanın girişine eklenen küçük bir sürekli vektör kümesini eğiterek donmuş bir dil modelini uyarlamanın parametre açısından verimli bir yoludur.
Genel Bakış
It lets you customize giant models for new tasks while updating less than 1% of parameters.
Derin Dalış
Stanford araştırmacıları Li ve Liang tarafından 2021'de tanıtılan önek ayarı, önceden eğitilmiş bir transformatörü ağırlıklarına dokunmadan uyarlıyor. Tüm parametrelere ince ayar yapmak yerine, her dikkat katmanındaki anahtarların ve değerlerin başına bir dizi eğitilebilir 'sanal belirteç' (önek) ekler. Dondurulmuş model, sanki gerçek bir bağlammış gibi bu önekle ilgilenir ve davranışını hedef bir göreve doğru yönlendirir. Yalnızca önek vektörleri öğrenildiğinden, tam model kopyası yerine görev başına küçük bir önek saklayabilirsiniz. Bu, birçok görevin yerine getirilmesini ucuz hale getirir ve tam ince ayarın depolamada yarattığı patlamayı önler. Tablodan metne dönüştürme ve özetleme gibi oluşturma görevlerinde özellikle iyi performans gösterir ve genellikle yüksek veri ayarlarında tam ince ayarlarla eşleşir.
Teknik Bilgi
Yalnızca giriş yerleştirme katmanına vektörler ekleyen hızlı ayarlamanın aksine, önek ayarlama, her transformatör katmanının öz dikkatine eğitilebilir anahtar/değer vektörleri enjekte eder. Eğitimi stabilize etmek için önek, doğrudan optimize edilmek yerine genellikle küçük bir ileri besleme ağı (bir yeniden parametrelendirme hilesi) tarafından oluşturulur; bu ağ eğitimden sonra atılır ve geriye yalnızca öğrenilen önek matrisleri kalır. Yalnızca bu önek parametreleri gradyanları alır; tüm omurga donmuş halde kalır.
Stratejik Etki
Speed and scale
Dil iş akışları tutarlılıktan ödün vermeden daha hızlı ilerleyebilir.
Access and reach
Diller ve iletişim tarzları arasında erişimi genişletir.
Daha net kararlar
Otomasyon tekrarlamayı yönetirken ekipler karar vermeye daha fazla zaman ayırabilir.
Önek Ayarlamanın Geleceği
Önek ayarı, parametre açısından verimli ince ayar (PEFT) dalgasının başlatılmasına yardımcı oldu ve Hugging Face PEFT gibi kitaplıklarda bir yapı taşı olmaya devam ediyor. Temel modeller yüz milyarlarca parametreye ulaştıkça, önekler gibi hafif bağdaştırıcılar, çok kiracılı hizmet ve cihaz içi kişiselleştirme için giderek daha çekici hale geliyor. Önekleri LoRA tarzı düşük dereceli güncellemelerle harmanlayan hibrit yaklaşımların devam etmesini ve tüm modelleri yeniden eğitmeden stil, kişilik ve güvenlik davranışını kontrol etmede kullanımın artmasını bekleyin.
Gerçek Dünya Uygulaması
WebNLG veri kümesinde küçük bir önek eğiterek donmuş bir GPT-2 omurgasını tablodan metne dönüştürme için uyarlama
Her biri değiştirilebilir bir önek dosyası olarak tek bir paylaşılan modelden düzinelerce müşteriye özel özetleme stili sunma
Temel ağırlıkları yeniden eğitmeden bir chatbot için dil modelinin tonunu veya kişiliğini yönlendirmek
Tam ince ayarın fazla uygun olacağı hukuki veya tıbbi metin oluşturma gibi düşük veri alan adı uyarlaması
Riskler ve Korkuluklar
Halüsinasyonlu gerçekler sessizce raporlara, destek akışlarına veya araştırma çıktılarına girebilir.
İstem hassasiyeti, benzer istekler arasında tutarsız sonuçlar yaratabilir.
Erişim kontrolleri zayıfsa hassas metin verileri açığa çıkabilir.
Uygulama Yol Haritası
Kullanıma sunmadan önce çıktı formatını, tonunu ve kalite standartlarını tanımlayın.
Doğruluğun önemli olduğu durumlarda güvenilir kaynaklarla zemin müdahaleleri.
Yüksek riskli çıktılar için insan incelemesi kontrol noktası bulundurun.
Arıza modellerini takip edin ve istemleri veya iş akışlarını düzenli olarak yeniden eğitin.
Keşfetmeye Devam Edin
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prefix Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Reddetme Örnekleme İnce Ayarı
Sık sorulan sorular
What is Prefix Tuning?
Önek ayarlama, her katmanın girişine eklenen küçük bir sürekli vektör kümesini eğiterek donmuş bir dil modelini uyarlamanın parametre açısından verimli bir yoludur. Parametrelerin %1'inden daha azını güncellerken dev modelleri yeni görevler için özelleştirmenize olanak tanır.
Önek ayarlama gerçekte neyi eğitir?
Önek ayarlama, omurgayı dondurur ve yalnızca küçük bir dizi sürekli önek vektörünü öğrenerek parametre verimliliğini korur.
Önek vektörleri nereye enjekte edilir?
Önek ayarlama, yalnızca girişte değil, her transformatör katmanının kendi dikkatinde eğitilebilir anahtar/değer vektörlerini öne ekler.
Önek ayarlamayı kim ve kabaca ne zaman başlattı?
Önek ayarı, 2021'de Stanford'da Xiang Lisa Li ve Percy Liang tarafından önerildi.
Birçok göreve hizmet etmek için önek ayarlama neden caziptir?
Yalnızca küçük önek göreve özel olduğundan, modelin tamamını kopyalamak yerine görev başına küçük bir dosya saklarsınız.
Önek eğitimini dengelemek için sıklıkla hangi numara kullanılır?
Küçük bir MLP, kararlılık için eğitim sırasında önek üretir, ardından atılır ve geriye yalnızca öğrenilen önek matrisleri kalır.