무엇입니까? 중간 훈련?

명령어 튜닝, 선호도 최적화, 안전 튜닝 등 사전 학습 이후 적용되는 학습 단계입니다.

학습, 검증 또는 테스트에 사용되는 구조화된 또는 구조화되지 않은 예제 모음입니다.

학습 후 모델 품질을 측정하는 데 사용되는 홀드아웃 데이터 세트입니다.

사전 훈련된 모델을 특정 작업에 맞게 조정하기 위해 도메인별 데이터에 대한 지속적인 훈련입니다.

다운스트림 적응 전 광범위한 데이터에 대한 초기 대규모 모델 교육.

RLHF 파이프라인에서 자주 사용되는 선호 신호를 기반으로 출력에 점수를 매기는 모델입니다.