Kuiz berkaitan panduan · Sederhana Tahap
QLoRA dan Kuiz Penalaan Halus 4-Bit
Semak asas 4-bit beku QLoRA, penyesuai peringkat rendah yang boleh dilatih, NF4, pengkuantitian berganda, pengoptimum halaman dan penyahkuansian sementara.
soalan 1 daripada 8
Apakah idea penjimatan memori teras di sebalik bahagian '4-bit' QLoRA?
Pratonton setiap soalan8 soalan
Jawapan dan penjelasan muncul semasa anda mengambil kuiz.
- Apakah idea penjimatan memori teras di sebalik bahagian '4-bit' QLoRA?
- Ia mengukur berat model asas beku hingga 4 bit setiap satu
- Ia memadam 75% daripada lapisan model
- Ia melatih model hanya dalam 4 zaman
- Ia hanya menggunakan 4 GPU dan bukannya banyak
- Semasa penalaan halus QLoRA, parameter manakah yang sebenarnya dikemas kini mengikut keturunan kecerunan?
- Semua berat asal model
- Hanya matriks penyesuai LoRA peringkat rendah yang kecil
- Pemalar pengkuantitian 4-bit
- Perbendaharaan kata tokenizer
- Apakah NF4 dalam konteks QLoRA?
- Rangkaian saraf 4 lapisan
- Algoritma pengoptimum baharu
- Jenis data 4-bit yang dioptimumkan untuk berat taburan normal
- Format kluster GPU 4-nod
- Apakah masalah yang dihadapi oleh 'pengoptimum halaman' dalam QLoRA?
- Muat turun fail model internet perlahan
- Tokenisasi yang salah
- Terlebih pemasangan pada set data kecil
- Lonjakan di luar ingatan semasa urutan yang panjang
- Bilakah pemberat 4-bit ditukar kembali kepada ketepatan yang lebih tinggi semasa latihan?
- Just-in-time semasa pendaraban matriks, kemudian dibuang
- Mereka tidak pernah bertobat; matematik dilakukan dalam 4 bit
- Hanya sekali pada permulaan latihan
- Hanya selepas latihan selesai
- Apakah yang ditunjukkan oleh kertas asal QLoRA tentang kualiti?
- Penalaan halus 4-bit sentiasa mengalahkan penalaan halus penuh
- Penalaan halus model 65B pada satu GPU boleh memadankan kualiti penalaan halus 16-bit penuh
- Kuantiti menjadikan model tidak berguna di bawah 8 bit
- Hanya model kecil boleh diperhalusi dengan cara ini
- What does QLoRA’s double-quantization step compress?
- Perbendaharaan kata tokenizer
- The LoRA adapter rank
- The quantization constants used to represent the 4-bit weights
- The training examples’ text labels
- How can one QLoRA base model support multiple task-specific versions?
- They delete the optimizer state after every token
- They increase the base model from 4-bit to 32-bit
- They move all activations into the tokenizer
- Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks