Rehber bağlantılı sınav · Orta Seviye

QLoRA ve 4-Bit İnce Ayar Testi

QLoRA'nın dondurulmuş 4 bit tabanını, eğitilebilir düşük dereceli bağdaştırıcılarını, NF4'ü, çift nicelemeyi, sayfalanmış optimize edicileri ve geçici dekuantizasyonu inceleyin.

İlgili kılavuz yollarıQlora ve 4 Bit İnce Ayar
Soru 1 arasında 8

QLoRA'nın '4 bit' kısmının ardındaki temel bellek tasarrufu fikri nedir?

Her soruyu önizleyin8 sorular

Testi çözdüğünüzde cevaplar ve açıklamalar görünür.

  1. QLoRA'nın '4 bit' kısmının ardındaki temel bellek tasarrufu fikri nedir?
    • Dondurulmuş temel modelin ağırlıklarını her biri 4 bit'e kadar nicemler
    • Modelin katmanlarının %75'ini siler
    • Modeli yalnızca 4 dönemde eğitir
    • Birçok yerine yalnızca 4 GPU kullanır
  2. QLoRA ince ayarı sırasında, aslında hangi parametreler degrade inişiyle güncellenir?
    • Modelin tüm orijinal ağırlıkları
    • Yalnızca küçük, düşük dereceli LoRA adaptör matrisleri
    • 4 bitlik niceleme sabitleri
    • Tokenizer'ın kelime dağarcığı
  3. QLoRA bağlamında NF4 nedir?
    • 4 katmanlı bir sinir ağı
    • Yeni bir optimize edici algoritması
    • Normal dağıtılmış ağırlıklar için optimize edilmiş 4 bitlik bir veri türü
    • 4 düğümlü GPU küme formatı
  4. QLoRA adresindeki 'disk belleği optimize ediciler' hangi sorunu yaratır?
    • Model dosyalarının internetten yavaş indirilmesi
    • Yanlış tokenizasyon
    • Küçük veri kümelerine aşırı uyum
    • Uzun diziler sırasında bellek yetersizliği ani artışları
  5. Eğitim sırasında 4 bitlik ağırlıklar ne zaman daha yüksek hassasiyete dönüştürülür?
    • Matris çarpımı sırasında tam zamanında, sonra atılır
    • Asla dönüştürülmezler; matematik 4 bitte yapılır
    • Eğitimin başlangıcında yalnızca bir kez
    • Yalnızca eğitim tamamlandıktan sonra
  6. Orijinal QLoRA makalesi kalite hakkında neyi ortaya koyuyordu?
    • 4-bit ince ayar her zaman tam ince ayardan üstündür
    • Bir GPU'da 65B modelinin ince ayarının yapılması, tam 16 bitlik ince ayar kalitesiyle eşleşebilir
    • Niceleme, 8 bitin altındaki modelleri işe yaramaz hale getirir
    • Yalnızca küçük modellerde bu şekilde ince ayar yapılabilir
  7. What does QLoRA’s double-quantization step compress?
    • Tokenizer sözlüğü
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks