모방 학습

모방 학습은 시행착오 보상을 통해 학습하는 대신 AI가 전문가 시연을 복사하여 작업을 수행하도록 가르칩니다. 운전, 수술, 조작 등 많은 실제 작업에서는 보상 함수를 작성하는 것보다 좋은 행동을 보여주는 것이 훨씬 쉽기 때문에 중요합니다.

모방 학습은 보상 중심의 시행착오를 통해 행동을 발견하는 대신 전문가 시연에 표시된 행동을 재현하도록 에이전트를 훈련시킵니다.

행동 복제는 시연을 레이블이 지정된 데이터로 처리하고 지도 학습과 마찬가지로 관찰된 각 상태에 대한 전문가의 행동을 예측하는 방법을 학습합니다.

작은 작업 오류로 인해 에이전트는 전문가가 보여주지 않은 상태에 빠지게 됩니다. 안내가 없으면 오류가 누적되고 에이전트는 전문가의 궤적에서 더 멀리 표류합니다.

DAgger는 현재 정책을 롤아웃하고, 새로 방문한 상태에 전문가 레이블을 지정하고, 집계된 데이터 세트를 다시 훈련하여 훈련 데이터가 학습자 자신의 상태 분포와 일치하도록 합니다.

복잡한 실제 작업의 경우 좋은 행동을 포착하는 보상을 작성하는 것은 어려운 반면, 좋은 행동(사람의 운전 기록)의 예를 보여주는 것은 비교적 쉽습니다.