Kuiz berkaitan panduan · Keras Tahap
Campuran Kuiz Pakar LoRA
Menyemak kemas kini peringkat rendah LoRA, gating pakar, pemberat asas beku, kemahiran boleh gubah dan penghalaan setiap lapisan untuk penyesuai bercampur.
soalan 1 daripada 8
Apakah yang dimaksudkan oleh bahagian 'LoRA' Campuran Pakar LoRA?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah yang dimaksudkan oleh bahagian 'LoRA' Campuran Pakar LoRA?
- Penyesuaian Peringkat Rendah, yang melatih matriks peringkat rendah kecil dan bukannya pemberat penuh
- Model ganjaran pembelajaran pengukuhan
- Mekanisme perhatian jarak jauh
- Saluran paip pemuatan data untuk penyesuai
- Apakah tugas rangkaian gating/router dalam MoLE?
- Untuk memampatkan berat model asas
- Untuk memutuskan pakar mana yang akan diaktifkan dan dengan berat untuk input yang diberikan
- Untuk menjana data latihan untuk penyesuai
- Untuk menukar teks kepada benam
- Mengapakah MoLE selalunya lebih baik daripada melatih satu penyesuai pada banyak tugas bercampur?
- Ia menggunakan lebih banyak memori GPU mengikut reka bentuk
- Ia menghapuskan keperluan untuk mana-mana model asas
- Ia mengurangkan gangguan dan melupakan dengan mengekalkan kemahiran dalam pakar boleh gubah yang berasingan
- Ia hanya berfungsi pada satu bahasa
- Dalam LoRA, kemas kini berat biasanya dinyatakan sebagai yang manakah antara berikut?
- Matriks tumpat penuh menggantikan W
- Pengganda skalar tunggal pada W
- Matriks hingar rawak ditambah setiap langkah
- Hasil darab dua matriks peringkat rendah, B darab A
- Semasa latihan MoLE, apakah yang biasanya berlaku kepada pemberat pralatihan model asas?
- Mereka kekal beku sementara hanya penyesuai dan penghala dilatih
- Mereka dilatih semula sepenuhnya dari awal
- Mereka dipadamkan dan dibina semula
- Mereka dikuantisasikan kepada satu bit
- Dalam model imej resapan, apakah masalah yang dapat diselesaikan oleh gating hierarki/setiap lapisan dalam MoLE?
- Muat turun internet perlahan
- LoRA konsep berbilang mengatasi satu sama lain apabila digubah
- Kekurangan data latihan
- Format fail yang salah
- How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
- It must retrain the pretrained backbone for every prompt
- It can use only one expert for all inputs
- It can select or weight experts conditionally for a task or layer
- It removes every low-rank matrix before inference
- In a LoRA update with rank r, what does r control most directly?
- The number of decoder tokens generated
- The number of original model layers removed
- The size of the training vocabulary
- The dimension of the low-rank factors and thus the capacity and parameter cost of the update