Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Câu hỏi tinh chỉnh QLoRA và 4 bit

Xem lại cơ sở 4 bit cố định của QLoRA, bộ điều hợp cấp thấp có thể huấn luyện, NF4, lượng tử hóa kép, trình tối ưu hóa phân trang và khử lượng tử tạm thời.

Đường dẫn hướng dẫn liên quanQlora và tinh chỉnh 4 bit
Câu hỏi 1 của 8

Ý tưởng tiết kiệm bộ nhớ cốt lõi đằng sau phần '4-bit' của QLoRA là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Ý tưởng tiết kiệm bộ nhớ cốt lõi đằng sau phần '4-bit' của QLoRA là gì?
    • Nó lượng tử hóa trọng số của mô hình cơ sở cố định xuống còn 4 bit mỗi trọng số
    • Nó xóa 75% các lớp của mô hình
    • Nó đào tạo mô hình chỉ trong 4 kỷ nguyên
    • Nó chỉ sử dụng 4 GPU thay vì nhiều
  2. Trong quá trình tinh chỉnh QLoRA, tham số nào thực sự được cập nhật bằng cách giảm độ dốc?
    • Tất cả trọng lượng ban đầu của mô hình
    • Chỉ các ma trận bộ điều hợp LoRA cấp thấp nhỏ
    • Hằng số lượng tử hóa 4 bit
    • Từ vựng của tokenizer
  3. NF4 trong bối cảnh QLoRA là gì?
    • Mạng nơ-ron 4 lớp
    • Thuật toán tối ưu hóa mới
    • Kiểu dữ liệu 4 bit được tối ưu hóa cho trọng số được phân phối thông thường
    • Định dạng cụm GPU 4 nút
  4. 'Trình tối ưu hóa phân trang' trong địa chỉ QLoRA gặp vấn đề gì?
    • Tải xuống các tệp mô hình trên internet chậm
    • Mã thông báo không chính xác
    • Trang bị quá mức trên các tập dữ liệu nhỏ
    • Hết bộ nhớ tăng đột biến trong các chuỗi dài
  5. Khi nào trọng số 4 bit được chuyển đổi trở lại độ chính xác cao hơn trong quá trình huấn luyện?
    • Đúng lúc trong quá trình nhân ma trận, sau đó bị loại bỏ
    • Họ không bao giờ được cải đạo; phép toán được thực hiện trong 4 bit
    • Chỉ một lần khi bắt đầu đào tạo
    • Chỉ sau khi đào tạo xong
  6. Bài báo QLoRA ban đầu đã chứng minh điều gì về chất lượng?
    • Tinh chỉnh 4 bit luôn đánh bại tinh chỉnh hoàn toàn
    • Tinh chỉnh mô hình 65B trên một GPU có thể đạt chất lượng tinh chỉnh 16 bit đầy đủ
    • Lượng tử hóa làm cho các mô hình dưới 8 bit trở nên vô dụng
    • Chỉ những mô hình nhỏ mới có thể được tinh chỉnh theo cách này
  7. What does QLoRA’s double-quantization step compress?
    • Từ vựng về tokenizer
    • The LoRA adapter rank
    • The quantization constants used to represent the 4-bit weights
    • The training examples’ text labels
  8. How can one QLoRA base model support multiple task-specific versions?
    • They delete the optimizer state after every token
    • They increase the base model from 4-bit to 32-bit
    • They move all activations into the tokenizer
    • Reuse the frozen 4-bit base and swap small trainable LoRA adapters for different tasks