무엇입니까? 지식 증류?

대규모 교사 모델의 지식을 소규모 학생 모델로 압축합니다.

추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.

모델의 학습 데이터에 반영된 최신 시점입니다.

모델이 사전 지식을 잊지 않고 새로운 데이터로부터 계속 학습할 수 있도록 하는 훈련 접근 방식입니다.

입력을 알려진 출력에 매핑하는 레이블이 지정된 예제를 사용하여 모델을 교육합니다.

모델 출력이 고정된 서면 원칙 세트에 따라 안내되는 교육 및 행동 형성 접근 방식입니다.