What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

Định nghĩa

Một phương pháp tinh chỉnh tham số hiệu quả bằng cách thêm các ma trận bộ điều hợp cấp thấp.

Điều khoản liên quan

Tinh chỉnh tham số hiệu quả (PEFT)

Các phương pháp điều chỉnh mô hình bằng cách huấn luyện một tập hợp con các tham số được thêm vào.

Một kỹ thuật tinh chỉnh kết hợp lượng tử hóa trọng lượng 4 bit với bộ điều hợp LoRA để giảm nhu cầu bộ nhớ.

Tiếp tục đào tạo về dữ liệu theo miền cụ thể để điều chỉnh mô hình được đào tạo trước cho phù hợp với một nhiệm vụ cụ thể.

Điều chỉnh hướng dẫn

Tinh chỉnh mô hình trên các cặp lệnh-phản hồi để cải thiện việc thực hiện nhiệm vụ.

DPO (Tối ưu hóa tùy chọn trực tiếp)

Một phương pháp đào tạo giúp tinh chỉnh các mô hình trực tiếp trên các cặp ưu tiên mà không cần mô hình phần thưởng riêng.

Làm mịn nhãn

Một phương pháp chính quy hóa làm mềm các nhãn cứng để cải thiện tính khái quát hóa.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

Xem thêm

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí