장기 컨텍스트 모델링 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 모델의 '컨텍스트 창'은 무엇을 참조하나요?
   • 한 번의 패스에 참여할 수 있는 최대 토큰 수
   • 채팅 인터페이스의 화면 크기
   • 동시 허용 사용자 수
   • 모델이 훈련된 기간
2. 긴 입력에 대해 표준 셀프 어텐션이 비용이 많이 드는 이유는 무엇입니까?
   • 선형적으로 성장하며 항상 저렴합니다.
   • 컴퓨팅 및 메모리는 시퀀스 길이에 따라 2차적으로 증가합니다.
   • 두 개 이상의 토큰을 읽을 수 없습니다.
   • 이미지에서만 작동합니다.
3. '중간 분실' 문제는 무엇인가요?
   • 모델은 훈련을 완전히 잊어버립니다.
   • 모델은 문서의 중간 부분만 읽을 수 있습니다.
   • 모델은 중간에 묻혀 있는 사실보다 긴 입력의 시작과 끝 부분에 있는 정보를 더 잘 기억합니다.
   • 모델은 중간 언어를 다른 언어로 번역합니다.
4. FlashAttention은 주로 무엇을 개선합니까?
   • 모델이 더 긴 텍스트를 출력하게 만듭니다.
   • 더 많은 훈련 데이터를 자동으로 추가합니다.
   • 주의를 기울일 필요가 없어집니다.
   • IO 인식 타일식 계산으로 메모리 병목 현상을 줄입니다.
5. 긴 컨텍스트 모델에서 RoPE(회전 위치 임베딩)는 어떤 역할을 합니까?
   • 토큰 위치를 인코딩하고 보간을 통해 더 긴 시퀀스로 일반화하는 데 도움이 됩니다.
   • 입력에서 토큰을 삭제합니다.
   • 언어 간 텍스트를 번역합니다.
   • 모델의 가중치를 저장합니다.
6. What does prompt-cache research reuse across compatible requests?
   • The final answer regardless of the new query
   • Computed attention state for reusable prompt segments
   • A fixed set of token IDs without model computation
   • The model’s training data
7. What does the RULER benchmark add beyond locating one isolated “needle” fact?
   • 이미지 분류만
   • Audio transcription from waveforms
   • Tasks such as multi-hop tracing and aggregation over long contexts
   • GPU memory allocation benchmarks
8. Why test several task types when measuring a model’s effective context length?
   • Every task uses the same computation
   • The advertised window guarantees all tasks work
   • Task type never affects context use
   • A model may handle simple retrieval yet fail to combine or track information across a long input