무엇입니까? DPO(직접 선호도 최적화)?

인간의 선호 신호를 사용하여 모델 행동을 형성하는 훈련 방법입니다.

명령어 튜닝, 선호도 최적화, 안전 튜닝 등 사전 학습 이후 적용되는 학습 단계입니다.

모델이 사전 지식을 잊지 않고 새로운 데이터로부터 계속 학습할 수 있도록 하는 훈련 접근 방식입니다.

사전 훈련된 모델을 특정 작업에 맞게 조정하기 위해 도메인별 데이터에 대한 지속적인 훈련입니다.

오류를 줄이는 방향으로 매개변수를 업데이트하는 최적화 방법입니다.

작업 추적을 개선하기 위해 지시-응답 쌍에 대한 모델을 미세 조정합니다.