무엇입니까? 주의 메커니즘?

입력을 잠재 표현으로 변환하는 모델의 구성 요소입니다.

다양한 유형의 관계를 캡처하기 위해 여러 주의 작업을 병렬로 실행하는 변환기 메커니즘입니다.

토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.

모델이 하나 이상의 사전 정의된 범주에 입력을 할당하는 작업입니다.

언어 모델이 한 번에 처리할 수 있는 최대 입력 토큰 양입니다.

시간에 따른 실제 입력 데이터의 변화로 인해 모델 성능이 저하될 수 있습니다.