Thuật ngữ thuật ngữ AI

QLoRA là gì?

Định nghĩa

Một kỹ thuật tinh chỉnh kết hợp lượng tử hóa trọng lượng 4 bit với bộ điều hợp LoRA để giảm nhu cầu bộ nhớ.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

LoRA (Thích ứng cấp thấp)Một phương pháp tinh chỉnh tham số hiệu quả bằng cách thêm các ma trận bộ điều hợp cấp thấp.Lượng tử hóaChuyển đổi trọng số mô hình sang các định dạng có độ chính xác thấp hơn như 8 bit hoặc 4 bit.Tinh chỉnhTiếp tục đào tạo về dữ liệu theo miền cụ thể để điều chỉnh mô hình được đào tạo trước cho phù hợp với một nhiệm vụ cụ thể.Điều chỉnh hướng dẫnTinh chỉnh mô hình trên các cặp lệnh-phản hồi để cải thiện việc thực hiện nhiệm vụ.Lượng tử hóa mô hìnhGiảm độ chính xác về số của trọng số mô hình để giảm chi phí bộ nhớ và suy luận.Tinh chỉnh tham số hiệu quả (PEFT)Các phương pháp điều chỉnh mô hình bằng cách huấn luyện một tập hợp con các tham số được thêm vào.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

QLoRA and 4-Bit Fine-Tuning

Xem thêm

DPO (Direct Preference Optimization)Flash AttentionTree of ThoughtsMulti-Head AttentionReActPositional EncodingAgentic LoopRoPE (Rotary Positional Embeddings)