무엇입니까? 인간 피드백을 통한 강화 학습(RLHF)?

에이전트가 장기적인 수익을 극대화하는 행동을 학습하는 보상 신호를 통한 교육입니다.

RLHF 파이프라인에서 자주 사용되는 선호 신호를 기반으로 출력에 점수를 매기는 모델입니다.

별도의 보상 모델이 필요 없이 선호 쌍에 대해 직접 모델을 미세 조정하는 학습 방법입니다.

모델이 사전 지식을 잊지 않고 새로운 데이터로부터 계속 학습할 수 있도록 하는 훈련 접근 방식입니다.

소수의 사례를 통해 행동을 학습하거나 적용합니다.

실제 조건이 훈련 가정과 다르기 때문에 시간이 지남에 따라 성능이 저하됩니다.