Kuiz berkaitan panduan · Sederhana Tahap

QLoRA dan Kuiz Penalaan Halus 4-Bit

Semak asas 4-bit beku QLoRA, penyesuai peringkat rendah yang boleh dilatih, NF4, pengkuantitian berganda, pengoptimum halaman dan penyahkuansian sementara.

Laluan panduan yang berkaitanQlora Dan Penalaan Halus 4 Bit
soalan 1 daripada 8

Apakah idea penjimatan memori teras di sebalik bahagian '4-bit' QLoRA?

Pratonton setiap soalan8 soalan

Jawapan dan penjelasan muncul semasa anda mengambil kuiz.

  1. Apakah idea penjimatan memori teras di sebalik bahagian '4-bit' QLoRA?
    • Ia mengukur berat model asas beku hingga 4 bit setiap satu
    • Ia memadam 75% daripada lapisan model
    • Ia melatih model hanya dalam 4 zaman
    • Ia hanya menggunakan 4 GPU dan bukannya banyak
  2. Semasa penalaan halus QLoRA, parameter manakah yang sebenarnya dikemas kini mengikut keturunan kecerunan?
    • Semua berat asal model
    • Hanya matriks penyesuai LoRA peringkat rendah yang kecil
    • Pemalar pengkuantitian 4-bit
    • Perbendaharaan kata tokenizer
  3. Apakah NF4 dalam konteks QLoRA?
    • Rangkaian saraf 4 lapisan
    • Algoritma pengoptimum baharu
    • Jenis data 4-bit yang dioptimumkan untuk berat taburan normal
    • Format kluster GPU 4-nod
  4. Apakah masalah yang dihadapi oleh 'pengoptimum halaman' dalam QLoRA?
    • Muat turun fail model internet perlahan
    • Tokenisasi yang salah
    • Terlebih pemasangan pada set data kecil
    • Lonjakan di luar ingatan semasa urutan yang panjang
  5. Bilakah pemberat 4-bit ditukar kembali kepada ketepatan yang lebih tinggi semasa latihan?
    • Just-in-time semasa pendaraban matriks, kemudian dibuang
    • Mereka tidak pernah bertobat; matematik dilakukan dalam 4 bit
    • Hanya sekali pada permulaan latihan
    • Hanya selepas latihan selesai
  6. Apakah yang ditunjukkan oleh kertas asal QLoRA tentang kualiti?
    • Penalaan halus 4-bit sentiasa mengalahkan penalaan halus penuh
    • Penalaan halus model 65B pada satu GPU boleh memadankan kualiti penalaan halus 16-bit penuh
    • Kuantiti menjadikan model tidak berguna di bawah 8 bit
    • Hanya model kecil boleh diperhalusi dengan cara ini
  7. What does QLoRA’s double-quantization step compress?
    • Perbendaharaan kata tokenizer
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks