Campuran Kuis Pakar LoRA

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Apa yang dimaksud dengan bagian 'LoRA' dari Campuran Pakar LoRA?
   • Adaptasi Tingkat Rendah, yang melatih matriks kecil tingkat rendah, bukan matriks berbobot penuh
   • Model penghargaan pembelajaran penguatan
   • Mekanisme perhatian jangka panjang
   • Pipeline pemuatan data untuk adaptor
2. Apa tugas jaringan gating/router di MoLE?
   • Untuk mengompresi bobot model dasar
   • Untuk memutuskan pakar mana yang akan diaktifkan dan berapa bobot masukan yang diberikan
   • Untuk menghasilkan data pelatihan untuk adaptor
   • Untuk mengubah teks menjadi embeddings
3. Mengapa MoLE seringkali lebih baik daripada melatih satu adaptor pada banyak tugas campuran?
   • Ini menggunakan lebih banyak memori GPU berdasarkan desain
   • Ini menghilangkan kebutuhan akan model dasar apa pun
   • Hal ini mengurangi interferensi dan kelupaan dengan menyimpan keterampilan dalam pakar yang dapat disusun secara terpisah
   • Ini hanya berfungsi pada satu bahasa
4. Di LoRA, pembaruan bobot biasanya dinyatakan sebagai berikut?
   • Matriks padat penuh menggantikan W
   • Pengganda skalar tunggal pada W
   • Matriks derau acak ditambahkan pada setiap langkah
   • Hasil kali dua matriks berpangkat rendah, B dikali A
5. Selama pelatihan MoLE, apa yang umumnya terjadi pada beban model dasar yang telah dilatih sebelumnya?
   • Mereka tetap beku sementara hanya adaptor dan router yang dilatih
   • Mereka dilatih ulang sepenuhnya dari awal
   • Mereka dihapus dan dibangun kembali
   • Mereka dikuantisasi menjadi satu bit
6. Dalam model gambar difusi, masalah apa yang dipecahkan oleh gerbang hierarki/per lapisan di MoLE?
   • Pengunduhan internet lambat
   • Beberapa konsep LoRA saling mengalahkan saat disusun
   • Kurangnya data pelatihan
   • Format file salah
7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
   • It must retrain the pretrained backbone for every prompt
   • It can use only one expert for all inputs
   • It can select or weight experts conditionally for a task or layer
   • It removes every low-rank matrix before inference
8. In a LoRA update with rank r, what does r control most directly?
   • The number of decoder tokens generated
   • The number of original model layers removed
   • The size of the training vocabulary
   • The dimension of the low-rank factors and thus the capacity and parameter cost of the update