로터리 위치 임베딩

This elegant trick lets transformers understand relative distances and extend gracefully to longer contexts.

트랜스포머에는 기본적으로 순서 감각이 없으므로 어떻게든 위치 정보를 추가해야 합니다. 초기 모델은 고정된 정현파 벡터 또는 학습된 위치 임베딩을 입력에 추가했습니다. 2021년 Su와 동료가 제안한 RoPE는 다른 접근 방식을 취합니다. 즉, 위치 벡터를 추가하는 대신 쿼리의 차원 쌍과 키 벡터를 토큰 위치에 따라 커지는 각도만큼 회전합니다. 모델이 m 위치의 쿼리와 n 위치의 키 사이의 내적을 계산할 때 결과는 상대 거리 m에서 n을 뺀 값에만 의존하도록 계산됩니다. 이는 진정한 상대 위치 인식을 제공하고 효율적인 Attention 커널과 잘 작동하며 거리에 따라 Attention을 부드럽게 감소시킵니다. RoPE는 이제 Llama, Mistral, Qwen 및 대부분의 최신 개방형 모델에서 사용됩니다.