가이드 연계 퀴즈 · 중간 레벨

긴 컨텍스트 퀴즈를 위한 위치 보간

위치 보간이 RoPE 위치를 어떻게 재조정하는지, 외삽이 주의를 불안정하게 만드는 이유와 해당 소스가 평가한 내용을 확인합니다.

관련 가이드 경로긴 컨텍스트에 대한 위치 보간
질문 1 의 8

위치 보간(Positional Interpolation)의 핵심 아이디어는 무엇입니까?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 위치 보간(Positional Interpolation)의 핵심 아이디어는 무엇입니까?
    • 모델이 이미 훈련된 범위에 새로운 위치 인덱스를 집어넣습니다.
    • 각 길이에 대해 처음부터 새로운 모델 훈련
    • 위치정보 전체 제거
    • 중요도에 따라 토큰 정렬
  2. 더 긴 위치에 대한 순진한 추정이 실패하는 이유는 무엇입니까?
    • 메모리를 너무 적게 사용합니다.
    • 주의 점수를 매우 크고 불안정한 값으로 폭발시킬 수 있습니다.
    • 항상 동일한 토큰을 반환합니다.
    • 다른 토크나이저가 필요합니다.
  3. LLaMA를 32K로 확장하려면 원본 PI 작업에 대략 얼마나 많은 미세 조정이 필요했습니까?
    • 미세조정이 전혀 안됨
    • 약 100만 걸음
    • 약 1,000걸음
    • 전체 사전 훈련 실행
  4. 요인 s만큼 컨텍스트를 확장하면 PI는 위치 m을 어떻게 변환합니까?
    • m을 m 곱하기 s로 매핑합니다.
    • m을 m 제곱으로 매핑합니다.
    • 그것은 나를 변함없이 남겨둔다
    • m을 s로 나눈 값으로 매핑합니다.
  5. PI는 YaRN과 같은 최신 방법에 어떤 영향을 미쳤습니까?
    • 이는 주파수 인식 방법이 개선되는 기준이 되었습니다.
    • 폐기되었으며 인용되지 않았습니다.
    • Transformer 아키텍처를 대체했습니다.
    • 이미지 모델에만 적용됩니다.
  6. 위치 보간은 주로 어떤 위치 인코딩을 대상으로 합니까?
    • 원-핫 인코딩
    • RoPE(로터리 포지션 임베딩)
    • Word2Vec 벡터
    • 단어백 개수
  7. A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
    • 2
    • 8
    • 16
    • 32
  8. With extension factor s = 16, where does PI map original position m = 16,000?
    • Position 16,000
    • Position 256,000
    • Position 32,000
    • Position 1,000