YaRN 및 컨텍스트 길이 확장 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. YaRN은 컨텍스트를 확장하기 위해 어떤 위치 인코딩 방법을 수정합니까?
   • RoPE(회전 위치 임베딩)
   • 절대 정현파 임베딩
   • 학습된 위치 조회 테이블
   • 상대적 편향 행렬만
2. RoPE 모델이 훈련 길이보다 긴 시퀀스를 발견하면 무엇이 잘못됩니까?
   • 토크나이저 충돌
   • 회전 각도가 보이지 않는 범위에 들어가고 성능이 저하됩니다.
   • 모델은 0만 출력합니다.
   • 그라데이션이 정확히 하나가 됨
3. YaRN은 다양한 RoPE 주파수 차원을 어떻게 처리합니까?
   • 모든 차원을 동일하게 보간합니다.
   • 고주파수 차원을 삭제합니다.
   • 고주파 차원을 대부분 보존하면서 저주파 차원을 보간합니다.
   • 모든 차원을 무작위로 지정합니다.
4. 빈도 재조정 외에 YaRN은 어떤 추가 조정을 적용합니까?
   • 새로운 토크나이저
   • 레이어 수를 두 배로 늘리기
   • 레이어 정규화 제거
   • 주의 온도(소프트맥스 스케일링) 조정
5. 순진한 보간에 비해 YaRN의 주요 실제 이점은 무엇입니까?
   • 훨씬 적은 미세 조정 데이터와 단계로 긴 컨텍스트에 도달합니다.
   • 모델이 전혀 필요하지 않습니다.
   • 512개 토큰 이하에서만 작동합니다.
   • GPU가 필요하지 않습니다.
6. 모든 RoPE 주파수의 순진한 선형 보간이 해로운 이유는 무엇입니까?
   • 편향 조건에만 영향을 미칩니다.
   • 로컬 세부 사항을 인코딩하는 고주파 차원을 압축합니다.
   • 모델을 더 크게 만듭니다.
   • 어휘 크기를 변경합니다.
7. In RoPE, which vectors receive position-dependent rotations?
   • Only the value vectors
   • Only the model’s token IDs
   • The query and key vectors
   • The optimizer’s gradient and momentum
8. What does YaRN’s attention-temperature adjustment address when context length is extended?
   • The number of GPU layers
   • The dimensions of the token vocabulary
   • The weight decay coefficient
   • Changes in attention entropy or softmax sharpness caused by the longer context