다중 작업 학습

다중 작업 학습(MTL)은 작업별로 별도의 모델을 구축하는 대신 작업별 헤드로 분기되는 공유 백본을 사용합니다. 예를 들어 자율주행 인식 네트워크는 비전 인코더를 공유한 다음 자동차 감지, 도로 분할, 깊이 추정을 위해 헤드로 분할될 수 있습니다. 공유 레이어는 작업 전반에 유용한 일반적인 기능을 학습하는 반면 각 헤드는 전문화됩니다. 이는 귀납적 편향 및 정규화의 한 형태로 작용합니다. 한 작업의 신호는 공유 표현을 제한하여 과적합을 줄이고 일반화를 개선합니다. 특히 일부 작업에 데이터가 거의 없는 경우 더욱 그렇습니다. 주요 과제는 작업의 균형을 맞추는 것입니다. 손실 규모나 기울기가 충돌하는 경우 한 작업이 지배적이고 다른 작업이 어려움을 겪을 수 있습니다. 이러한 문제를 음전이라고 합니다. 손실 가중치, 불확실성 기반 가중치, 경사 수술과 같은 기술은 작업을 경쟁하기보다는 협력을 유지하는 것을 목표로 합니다.