Kuis terkait panduan · Sedang Tingkat

Lapisan Adaptor untuk Kuis Transfer

Periksa bagaimana adaptor kemacetan mempertahankan model dasar yang dibekukan, mengaktifkan tugas modular atau transfer domain, dan membandingkannya dengan LoRA.

Jalur panduan terkaitLapisan Adaptor Untuk Transfer
Pertanyaan 1 dari 8

Apa yang terjadi pada beban awal yang telah dilatih sebelumnya saat berlatih dengan adaptor?

Pratinjau setiap pertanyaan8 pertanyaan

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

  1. Apa yang terjadi pada beban awal yang telah dilatih sebelumnya saat berlatih dengan adaptor?
    • Mereka dibekukan sementara hanya parameter adaptor yang dilatih
    • Mereka dihapus
    • Mereka diinisialisasi ulang secara acak
    • Ukurannya dua kali lipat
  2. Apa struktur internal khas adaptor kemacetan?
    • Satu lapisan padat yang sangat besar
    • Proyeksi ke bawah, nonlinier, lalu proyeksi ke atas, dengan sambungan sisa
    • Hanya kepala perhatian
    • Filter gambar konvolusional
  3. Kira-kira berapa bagian parameter yang biasanya dilatih oleh adaptor?
    • 100%
    • Tepat 50%
    • Seringkali di bawah 5%
    • Tidak ada sama sekali
  4. Mengapa adaptor nyaman untuk melayani banyak tugas?
    • Mereka memerlukan salinan model lengkap yang terpisah per tugas
    • Mereka tidak dapat digabungkan
    • Mereka menghapus model dasar setelah setiap tugas
    • Anda menyimpan satu model dasar dan menukar adaptor kecil per tugas
  5. Termasuk dalam kelompok teknik manakah adaptor?
    • Penyempurnaan hemat parameter (PEFT)
    • Augmentasi data
    • Kompresi gambar
    • Skema tokenisasi
  6. Keuntungan apa yang ditawarkan LoRA dibandingkan adaptor klasik yang dimasukkan pada waktu inferensi?
    • Itu tidak bisa dilatih
    • Bobot yang dipelajari dapat digabungkan ke dalam matriks dasar, menghindari latensi ekstra per lapisan
    • Hal ini memerlukan pelatihan ulang seluruh model
    • Ini menghilangkan sisa koneksi secara permanen
  7. What does a residual connection contribute to a classic bottleneck adapter?
    • A second full pretrained model copy for each task
    • A mandatory external retrieval database
    • A path that adds the adapter’s transformed representation back to the original hidden state
    • A guarantee that no added computation occurs
  8. What is one benefit of stacking a domain adapter with a task adapter?
    • Merge all user data into the frozen base weights automatically
    • Avoid using any adapter modules
    • Convert a language model into a vision encoder
    • Reuse a domain specialization together with a separate task specialization