개요
보이지 않는 위치로 외삽하는 대신, 훈련된 위치 내에서 보간하여 간단한 미세 조정만 필요로 합니다.
심층 분석
Meta 연구원(Chen et al.)이 2023년에 도입한 위치 보간은 RoPE가 포함된 모델이 훈련 이상의 위치로 추정할 때 치명적으로 실패한다는 사실을 해결합니다. 통찰력은 직관에 어긋납니다. 모델에 본 적이 없는 더 큰 위치 값을 처리하도록 요청하는 대신 PI는 들어오는 위치 인덱스를 축척 계수로 나누어 목표 길이(예: 8K)가 원래 2K 범위로 다시 매핑됩니다. 모델이 해당 범위에 대해 훈련되었기 때문에 회전은 분포 상태를 유지합니다. 단 1,000개의 미세 조정 단계를 거친 후 LLaMA 모델은 이러한 방식으로 확장되어 최대 32K 컨텍스트까지 처리되었습니다. 이 논문에서는 외삽이 어텐션 점수를 엄청난 값으로 증가시킬 수 있는 반면 보간은 이를 제한적이고 안정적으로 유지하므로 보간이 외삽보다 훨씬 더 잘 작동한다는 것을 보여주었습니다.
실제 구현
약 1,000개의 미세 조정 단계를 통해 8K-32K 토큰을 처리하도록 2K 컨텍스트 LLaMA 모델 확장
처음부터 다시 교육하지 않고도 긴 문서 요약을 위해 기존 채팅 모델을 조정합니다.
NTK 인식 확장 및 YaRN이 개선되는 개념적 기준 역할을 합니다.
원래 짧은 창으로 훈련된 모델에 대해 긴 컨텍스트 코드 또는 법률 문서 분석 활성화
긴 컨텍스트를 위한 위치 보간의 미래
위치 보간은 로컬 세부 사항을 보존하기 위해 보다 선택적으로 보간하는 NTK 인식 스케일링 및 YaRN을 포함한 후속 조치의 기반이 되었습니다. 그 궤도는 미세 조정이 거의 또는 전혀 필요하지 않은 방법과 긴 컨텍스트 처리를 사전 훈련에 적용하는 방향입니다. PI는 귀중한 기준으로 남아 있으며 종종 새로운 주파수 인식 체계와 결합되어 128K 이상의 컨텍스트 창에 효율적으로 도달합니다.
실천에 옮기기
왜 중요한가요?
- 비용 및 예산. 아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
- 더 명확한 결정들. 기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
- 품질 관리. 더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
조심하세요
- 하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
- 인프라 및 유지 관리 비용은 종종 과소평가됩니다.
- 시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
다음 단계
- 구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
- 현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
- 오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
- 확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
긴 문맥을 위한 위치 보간법 퀴즈 풀기
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
장기 맥락을 위한 포지셔널 보간이란 무엇인가요?
위치 보간(PI)은 새 위치 인덱스를 모델이 이미 알고 있는 범위로 압축하여 Transformer의 컨텍스트 창을 확장하는 간단하고 영향력 있는 기술입니다. 보이지 않는 위치로 추정하는 대신 훈련된 위치 내에서 보간하므로 간단한 미세 조정만 필요합니다.
위치 보간(Positional Interpolation)의 핵심 아이디어는 무엇입니까?
PI는 위치 인덱스를 축척 계수로 나누어 더 긴 시퀀스가 훈련된 위치 범위로 다시 매핑되도록 하여 회전을 분산 상태로 유지합니다.
더 긴 위치에 대한 순진한 추정이 실패하는 이유는 무엇입니까?
PI 논문에서는 보이지 않는 큰 위치가 훈련보다 더 큰 관심 점수를 생성하여 소프트맥스를 불안정하게 만들 수 있음을 보여주었습니다.
LLaMA를 32K로 확장하려면 원본 PI 작업에 대략 얼마나 많은 미세 조정이 필요했습니까?
이 논문에서는 약 1,000개의 미세 조정 단계를 거치면 컨텍스트를 최대 32,000개의 토큰까지 확장하는 데 충분하다고 보고했습니다.
요인 s만큼 컨텍스트를 확장하면 PI는 위치 m을 어떻게 변환합니까?
PI는 위치 m을 m/s로 다시 조정하여 새로운 더 큰 범위를 원래 훈련된 범위로 압축합니다.
PI는 YaRN과 같은 최신 방법에 어떤 영향을 미쳤습니까?
PI는 안전한 접근 방식으로 보간법을 확립했습니다. NTK 인식 스케일링과 YaRN은 주파수를 보다 선택적으로 보간하여 이를 개선했습니다.