Thuật ngữ thuật ngữ AI

LoRA (Thích ứng cấp thấp) là gì?

Định nghĩa

Một phương pháp tinh chỉnh tham số hiệu quả bằng cách thêm các ma trận bộ điều hợp cấp thấp.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Tinh chỉnh tham số hiệu quả (PEFT)Các phương pháp điều chỉnh mô hình bằng cách huấn luyện một tập hợp con các tham số được thêm vào.QLoRAMột kỹ thuật tinh chỉnh kết hợp lượng tử hóa trọng lượng 4 bit với bộ điều hợp LoRA để giảm nhu cầu bộ nhớ.Tinh chỉnhTiếp tục đào tạo về dữ liệu theo miền cụ thể để điều chỉnh mô hình được đào tạo trước cho phù hợp với một nhiệm vụ cụ thể.Điều chỉnh hướng dẫnTinh chỉnh mô hình trên các cặp lệnh-phản hồi để cải thiện việc thực hiện nhiệm vụ.DPO (Tối ưu hóa tùy chọn trực tiếp)Một phương pháp đào tạo giúp tinh chỉnh các mô hình trực tiếp trên các cặp ưu tiên mà không cần mô hình phần thưởng riêng.Làm mịn nhãnMột phương pháp chính quy hóa làm mềm các nhãn cứng để cải thiện tính khái quát hóa.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI Workflow AutomationBarlow Twins and Redundancy ReductionDomain AdaptationKubeflow and ML Pipeline Orchestration

Xem thêm

Learning RateLoss FunctionLarge Language Model (LLM)Machine Learning (ML)LatencyMemory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph