트랜스포머

Attention은 한 위치가 다른 위치에서 얼마나 많은 정보를 가져와야 하는지 계산합니다. 일반적인 공식에서 학습된 예측은 쿼리, 키 및 값을 생성합니다. 쿼리 키 비교는 값을 결합하는 데 사용되는 가중치를 결정합니다. 다중 어텐션 헤드는 레이어 내에서 이러한 여러 조합을 허용합니다. 변환기 계층에는 피드포워드 네트워크, 정규화, 잔여 연결과 같은 다른 작업도 포함됩니다. 단어의 순서나 기타 순서 요소가 중요하기 때문에 위치 정보가 필요합니다. 특정 구현은 위치를 표현하고 이러한 작업을 정렬하는 방법이 다릅니다. 원래 2017 변환기는 번역을 위해 인코더-디코더 설계를 사용했습니다. 최신 모델은 다양한 목적을 위해 인코더 전용, 디코더 전용 또는 인코더-디코더 배열을 사용합니다. 인과 언어 모델은 위치가 다음 토큰 예측 중에 미래 토큰에 참여하는 것을 방지합니다. 이러한 제약은 완전한 입력의 양방향 처리와 다릅니다. 긴 시퀀스에 대한 Attention은 계산 비용이 많이 들 수 있습니다. 실제 시스템은 다양한 최적화를 사용하지만 광고된 컨텍스트 제한은 모델이 긴 문서의 모든 부분을 안정적으로 사용한다는 것을 증명하지 않습니다. 애플리케이션에 필요한 실제 길이에 따라 검색, 추론 및 지침을 테스트합니다.