Kuiz berkaitan panduan · Keras Tahap

Campuran Kuiz Pakar LoRA

Menyemak kemas kini peringkat rendah LoRA, gating pakar, pemberat asas beku, kemahiran boleh gubah dan penghalaan setiap lapisan untuk penyesuai bercampur.

Laluan panduan yang berkaitanCampuran Pakar Lora
soalan 1 daripada 8

Apakah yang dimaksudkan oleh bahagian 'LoRA' Campuran Pakar LoRA?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah yang dimaksudkan oleh bahagian 'LoRA' Campuran Pakar LoRA?
    • Penyesuaian Peringkat Rendah, yang melatih matriks peringkat rendah kecil dan bukannya pemberat penuh
    • Model ganjaran pembelajaran pengukuhan
    • Mekanisme perhatian jarak jauh
    • Saluran paip pemuatan data untuk penyesuai
  2. Apakah tugas rangkaian gating/router dalam MoLE?
    • Untuk memampatkan berat model asas
    • Untuk memutuskan pakar mana yang akan diaktifkan dan dengan berat untuk input yang diberikan
    • Untuk menjana data latihan untuk penyesuai
    • Untuk menukar teks kepada benam
  3. Mengapakah MoLE selalunya lebih baik daripada melatih satu penyesuai pada banyak tugas bercampur?
    • Ia menggunakan lebih banyak memori GPU mengikut reka bentuk
    • Ia menghapuskan keperluan untuk mana-mana model asas
    • Ia mengurangkan gangguan dan melupakan dengan mengekalkan kemahiran dalam pakar boleh gubah yang berasingan
    • Ia hanya berfungsi pada satu bahasa
  4. Dalam LoRA, kemas kini berat biasanya dinyatakan sebagai yang manakah antara berikut?
    • Matriks tumpat penuh menggantikan W
    • Pengganda skalar tunggal pada W
    • Matriks hingar rawak ditambah setiap langkah
    • Hasil darab dua matriks peringkat rendah, B darab A
  5. Semasa latihan MoLE, apakah yang biasanya berlaku kepada pemberat pralatihan model asas?
    • Mereka kekal beku sementara hanya penyesuai dan penghala dilatih
    • Mereka dilatih semula sepenuhnya dari awal
    • Mereka dipadamkan dan dibina semula
    • Mereka dikuantisasikan kepada satu bit
  6. Dalam model imej resapan, apakah masalah yang dapat diselesaikan oleh gating hierarki/setiap lapisan dalam MoLE?
    • Muat turun internet perlahan
    • LoRA konsep berbilang mengatasi satu sama lain apabila digubah
    • Kekurangan data latihan
    • Format fail yang salah
  7. How can a gated LoRA mixture differ from merging all adapter weights into one fixed update?
    • It must retrain the pretrained backbone for every prompt
    • It can use only one expert for all inputs
    • It can select or weight experts conditionally for a task or layer
    • It removes every low-rank matrix before inference
  8. In a LoRA update with rank r, what does r control most directly?
    • The number of decoder tokens generated
    • The number of original model layers removed
    • The size of the training vocabulary
    • The dimension of the low-rank factors and thus the capacity and parameter cost of the update