가이드 연계 퀴즈 · 중간 레벨

슬라이딩 윈도우 주의 퀴즈

누적된 수용 필드, 롤링 캐시, Gemma 2 레이어 및 Longformer 글로벌 토큰을 사용하여 로컬 주의 마스크 및 고정 창 크기 조정을 검토합니다.

관련 가이드 경로슬라이딩 윈도우 주의
질문 1 의 8

고정 윈도우 W를 사용하면 시퀀스 길이 N이 증가함에 따라 쌍별 주의 항 N 곱하기 W가 어떻게 확장되나요?

모든 질문 미리보기8 질문

퀴즈를 풀면 정답과 설명이 나타납니다.

  1. 고정 윈도우 W를 사용하면 시퀀스 길이 N이 증가함에 따라 쌍별 주의 항 N 곱하기 W가 어떻게 확장되나요?
    • Quadratically in N despite W being fixed
    • Exponentially in the vocabulary size by definition
    • It never changes as any tokens are added
    • Linearly in N
  2. 쌓인 로컬 어텐션 레이어는 어떻게 한 레이어의 바로 이웃 너머로 정보를 전파할 수 있습니까?
    • By guaranteeing perfect recall of every earlier token
    • Through intermediate representations passed across successive layers
    • By randomly moving the original input’s coordinates
    • By eliminating the need for all learned weights
  3. 순수 로컬 인과 주의 계층의 경우 캐시 정책이 활성 창보다 오래된 키를 삭제할 수 있는 이유는 무엇입니까?
    • Those keys are outside that layer’s allowed direct attention links
    • Every model layer must therefore have an identical whole-model memory bound
    • Older tokens are always irrelevant to every possible task
    • The model’s original weights have been deleted
  4. Gemma 2 보고서는 여러 계층에 걸쳐 어떤 주의 패턴을 설명합니까?
    • Only one permanently disconnected input token
    • No positional or attention computation anywhere
    • Alternating local sliding-window and global attention
    • A mandatory single identical local neighborhood for all models
  5. W 크기의 인과 슬라이딩 윈도우의 경우 내가 관심을 갖는 위치에서 어떤 키를 쿼리할 수 있나요?
    • i 이후의 모든 미래 위치
    • 위치 i - W + 1부터 i까지
    • 위치 0만
    • 모든 위치의 무작위 하위 집합
  6. In the Mistral report’s rolling cache, which slot stores the keys and values for timestep i with buffer size W?
    • A new permanent slot numbered i+W with no reuse
    • Only slot zero for every timestep
    • The slot at i modulo W
    • A slot chosen by the output token’s alphabetical order
  7. Which context_len value is listed in the original Mistral 7B architecture table, separate from its larger theoretical stacked attention span?
    • 4096 tokens
    • 131072 tokens
    • 32 tokens
    • 8192 tokens
  8. In Longformer’s stated symmetric global-attention design, how does a selected global token connect to other sequence tokens?
    • It attends to them and they can attend to it
    • It can receive no attention from any other token
    • It must ignore every token outside its local window
    • It requires all non-global tokens to be deleted