Rehber bağlantılı sınav · Orta Seviye
Önek Ayarlama Testi
Önek ayarlamanın donmuş omurga yaklaşımını, görev başına parametre tasarrufunu, dikkat katmanı yerleşimini ve doğal dil oluşturma görevlerindeki sonuçları değerlendirin.
Soru 1 arasında 8
Önek ayarlama gerçekte neyi eğitir?
Her soruyu önizleyin8 sorular
Testi çözdüğünüzde cevaplar ve açıklamalar görünür.
- Önek ayarlama gerçekte neyi eğitir?
- Modelin tüm transformatör ağırlıkları
- Yalnızca modelin çıktı sözlüğü katmanı
- Her görev için modelin ayrı bir kopyası
- Model donmuş halde kalırken küçük bir sürekli önek vektörleri kümesi
- Önek vektörleri nereye enjekte edilir?
- Her dikkat katmanındaki anahtarlara ve değerlere
- Yalnızca son çıktı katmanında
- Yalnızca kayıp fonksiyonuna
- Yerleştirmeden önce belirteç içine
- Önek ayarlamayı kim ve kabaca ne zaman başlattı?
- OpenAI 2018'de
- Li ve Liang, 2021'de Stanford'da
- Google, 2015'te
- 2023'te Meta
- Birçok göreve hizmet etmek için önek ayarlama neden caziptir?
- Hiçbir eğitim verisine ihtiyaç duymaz
- Çıkarımın hiçbir donanımda çalıştırılmamasını sağlar
- Her görevin tam model kopyası yerine yalnızca küçük bir öneke ihtiyacı vardır
- Tüm görevler için temel modeli aynı anda kalıcı olarak yeniden yazar
- Önek eğitimini dengelemek için sıklıkla hangi numara kullanılır?
- Her adımda öğrenme oranını iki katına çıkarın
- Ön ekin dondurulması ve modelin eğitilmesi
- Tüm dikkat katmanlarının kaldırılması
- Daha sonra atılacak olan küçük bir ileri besleme ağı aracılığıyla öneki yeniden parametrelendirme
- Önek ayarlama özellikle hangi tür görevlerde öne çıktı?
- Tablodan metne dönüştürme ve özetleme gibi doğal dil oluşturma
- Görüntü sınıflandırması
- Ses dalga biçimi sentezi
- Veritabanı indeksleme
- Orijinal önek ayarlama makalesi, deneylerinde model parametrelerinin ne kadarını öğrendiğini bildirdi?
- Yaklaşık %10
- Yaklaşık %0,1
- Yaklaşık %50
- Tüm model parametreleri
- Makalenin az veri ayarlarında önek ayarı nasıl performans gösterdi?
- Her görevde her zaman tam ince ayarlarla eşleşti
- Sınırlı örneklerle eğitilemedi
- Değerlendirilen bazı düşük veri vakalarında tam ince ayardan daha iyi performans gösterdi
- Her omurga parametresini değiştirdi