LoRA dan Kuis Penyetelan Efisien Parameter

Jawaban dan penjelasan muncul saat Anda mengikuti kuis.

1. Dalam formulasi LoRA asli untuk matriks bobot yang dipilih, apa yang dipelajari selama matriks tersebut tetap dibekukan?
   • Kosakata pengganti tanpa pembaruan bobot
   • Setiap entri matriks dasar penuh dari inisialisasi acak
   • Matriks dua faktor membentuk pembaruan peringkat rendah aditif
   • Penghapusan permanen seluruh lapisan yang dipilih
2. Persyaratan sumber daya manakah yang dapat dikurangi dengan lebih sedikit parameter LoRA yang dapat dilatih dibandingkan dengan penyesuaian penuh?
   • Setiap komputasi model dasar menurut definisi
   • Semua penyimpanan aktivasi terlepas dari prosedur pelatihan
   • Persentase universal yang dijamin dari total memori runtime
   • Persyaratan status pengoptimal dan pos pemeriksaan tugas
3. Apa yang dikontrol oleh peringkat 'r' dalam adaptor LoRA?
   • Dimensi bagian dalam dari dua matriks peringkat rendah, mengatur kapasitas adaptor
   • Jumlah lapisan pada model dasar
   • Kecepatan pembelajaran selama pelatihan
   • Berapa banyak GPU yang dibutuhkan
4. Pilihan penyimpanan dan adaptasi manakah yang digabungkan dalam makalah QLoRA?
   • Memperbarui setiap bobot dasar secara langsung sebagai gradien bilangan bulat 4-bit
   • Basis bit rendah yang dibekukan dengan adaptor LoRA yang dapat dilatih
   • Menghapus semua adaptor dan semua data tugas
   • Jaminan bahwa setiap model cocok untuk setiap konsumen GPU
5. Apa yang bisa dihilangkan oleh gabungan padat pembaruan LoRA yang kompatibel dari komputasi inferensi lapisan itu?
   • Kebutuhan untuk mengevaluasi lapisan dasar sama sekali
   • Setiap persyaratan kompatibilitas dtype yang mungkin
   • Persyaratan agar semua pembaruan tugas di masa mendatang menjadi identik
   • Kebutuhan untuk mengevaluasi cabang adaptor terpisah
6. Pola penggunaan kembali manakah yang didukung dengan menyimpan adaptor tugas yang kompatibel secara terpisah dari pos pemeriksaan dasar?
   • Setiap adaptor secara otomatis membuat setiap tugas menjadi benar
   • Semua sistem pelayanan harus beralih tugas tanpa overhead
   • Beberapa pembaruan tugas dapat berbagi basis terlatih yang sama
   • Pos pemeriksaan dasar tidak lagi diperlukan untuk inferensi
7. Untuk pembaruan bobot 4-kali-4 dengan faktor peringkat satu berbentuk 4-kali-1 dan 1-kali-4, ada berapa banyak parameter faktor?
   • Enam belas
   • Delapan
   • Empat
   • Tiga puluh dua
8. Apa yang dikompres oleh teknik kuantisasi ganda QLoRA selain representasi bobot dasar?
   • Konstanta kuantisasi
   • Setiap label tugas ke dalam kategori kedua yang tidak terkait
   • Menurut definisi, gradien adaptornya dua kali
   • Salinan lengkap kedua dari model dasar