What is LoRA (Low-Rank Adaptation)? Definition | AI Understanding

정의

낮은 순위의 어댑터 행렬을 추가하는 매개변수 효율적인 미세 조정 방법입니다.

관련 용어

매개변수 효율적인 미세 조정(PEFT)

추가된 매개변수의 작은 하위 집합을 훈련하여 모델을 조정하는 방법입니다.

4비트 가중치 양자화와 LoRA 어댑터를 결합하여 메모리 요구 사항을 줄이는 미세 조정 기술입니다.

사전 훈련된 모델을 특정 작업에 맞게 조정하기 위해 도메인별 데이터에 대한 지속적인 훈련입니다.

명령어 튜닝

작업 추적을 개선하기 위해 지시-응답 쌍에 대한 모델을 미세 조정합니다.

DPO(직접 선호도 최적화)

별도의 보상 모델이 필요 없이 선호 쌍에 대해 직접 모델을 미세 조정하는 학습 방법입니다.

라벨 평활화

일반화를 개선하기 위해 하드 라벨을 부드럽게 하는 정규화 방법입니다.

무료 가이드에서 자세히 알아보세요

AI Workflow Automation Barlow Twins and Redundancy Reduction Domain Adaptation Kubeflow and ML Pipeline Orchestration

See also

Learning Rate Loss Function Large Language Model (LLM)Machine Learning (ML)Latency Memory (Agent Memory)Mixture of Experts (MoE)Knowledge Graph

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기