긴 컨텍스트에 대한 위치 보간

위치 보간(PI)은 새 위치 인덱스를 모델이 이미 알고 있는 범위로 압축하여 Transformer의 컨텍스트 창을 확장하는 간단하고 영향력 있는 기술입니다. 보이지 않는 위치로 추정하는 대신 훈련된 위치 내에서 보간하므로 간단한 미세 조정만 필요합니다.

PI는 위치 인덱스를 축척 계수로 나누어 더 긴 시퀀스가 ​​훈련된 위치 범위로 다시 매핑되도록 하여 회전을 분산 상태로 유지합니다.

PI 논문에서는 보이지 않는 큰 위치가 훈련보다 더 큰 관심 점수를 생성하여 소프트맥스를 불안정하게 만들 수 있음을 보여주었습니다.

이 논문에서는 약 1,000개의 미세 조정 단계를 거치면 컨텍스트를 최대 32,000개의 토큰까지 확장하는 데 충분하다고 보고했습니다.

PI는 위치 m을 m/s로 다시 조정하여 새로운 더 큰 범위를 원래 훈련된 범위로 압축합니다.

PI는 안전한 접근 방식으로 보간법을 확립했습니다. NTK 인식 스케일링과 YaRN은 주파수를 보다 선택적으로 보간하여 이를 개선했습니다.