가이드 연계 퀴즈 · 중간 레벨

로터리 위치 임베딩 퀴즈

RoPE가 쿼리 및 키 벡터를 회전하여 위치를 인코딩하는 방법을 평가하고 상대 위치 속성을 긴 컨텍스트 확장 방법과 구별합니다.

관련 가이드 경로로터리 위치 임베딩
질문 1 의 8

RoPE는 어떻게 위치 정보를 변압기에 주입하나요?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. RoPE는 어떻게 위치 정보를 변압기에 주입하나요?
    • 쿼리와 키 벡터의 차원 쌍을 위치 종속 각도로 회전함으로써
    • 입력 임베딩에 고정 벡터를 추가하여
    • 토큰을 무작위로 재정렬하여
    • 위치 번호를 텍스트로 추가하여
  2. RoPE가 적용된 후 두 토큰 간의 주의 점수는 주로 다음에 따라 달라집니다.
    • 절대 위치만
    • 상대 거리(m - n)
    • 어휘 크기
    • 배치 크기
  3. What training-efficiency comparison did the YaRN paper report for context extension?
    • Exactly the same data and steps as all prior methods
    • No fine-tuning or training data of any kind
    • About 10x fewer tokens and 2.5x fewer training steps than prior methods
    • A fixed 100x increase in output tokens
  4. RoPE에서 서로 다른 차원 쌍이 서로 다른 주파수로 회전하는 이유는 무엇입니까?
    • 일부 차원을 건너뛰어 메모리를 절약하려면
    • 모델의 출력을 무작위화하려면
    • 모든 쌍은 동일한 각도를 사용해야 하기 때문에
    • 정밀한 국부 질서와 장거리 위치를 모두 포착하려면
  5. What is the goal of techniques such as Position Interpolation and YaRN for RoPE-based models?
    • Extend the usable context length beyond the original training window using additional scaling/fine-tuning methods
    • Guarantee accurate recall at any sequence length with no evaluation
    • Remove position information from attention
    • Replace all token embeddings with absolute learned vectors
  6. Does standard RoPE require learned absolute-position vectors to inject position into query and key representations?
    • Yes; it adds one learned vector for every possible sequence position
    • No; it applies position-dependent rotations to paired query/key dimensions
    • It removes query and key vectors entirely
    • It only adds position to value vectors
  7. What does standard RoPE alone guarantee about a model’s context length?
    • Unlimited accurate context at every position
    • A fixed context of exactly 128 tokens
    • It does not by itself guarantee reliable use beyond the trained context length
    • Removal of the attention mechanism
  8. What extended context length did the Position Interpolation paper report for its LLaMA evaluations?
    • Exactly 1,000 tokens with no position changes
    • Unlimited context with no fine-tuning
    • Up to 2 million tokens for all models
    • Up to 32,768 tokens with minimal fine-tuning