다중 헤드 잠재 주의력 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. Multi-Head Latent Attention이 줄이기 위해 고안된 주요 문제는 무엇입니까?
   • 추론 중 키-값 캐시의 메모리 비용
   • 훈련 데이터 부족
   • 모델 매개변수의 수
   • 토크나이저 어휘 크기
2. MLA는 KV 캐시를 어떻게 축소합니까?
   • 캐시에서 오래된 토큰을 삭제합니다.
   • 헤드당 전체 키와 값 대신 작은 낮은 순위의 잠재 벡터를 저장합니다.
   • 모든 것에 1비트 가중치를 사용합니다.
   • 일부 토큰에서는 주의를 완전히 건너뜁니다.
3. Multi-Head Latent Attention을 처음으로 도입한 모델은 무엇입니까?
   • GPT-2
   • 버트
   • DeepSeek-V2
   • 라마 1
4. MLA에 회전 위치 임베딩을 위해 별도의 '분리된' 경로가 필요한 이유는 무엇입니까?
   • 위치는 관심과 관련이 없기 때문에
   • RoPE는 어휘력을 2배로 늘려주기 때문에
   • 옵티마이저의 속도를 높이기 때문에
   • 회전은 키의 나머지 부분처럼 흡수된 상향 투영으로 접힐 수 없기 때문에
5. DeepSeek-V2가 MLA와 표준 멀티헤드 어텐션에서 보고한 KV 캐시 메모리 감소량은 대략 얼마나 됩니까?
   • 90% 이상
   • 약 5%
   • 정확히 50%
   • 감소 없음, 속도 증가만 있음
6. MLA의 더 작은 토큰별 캐시에서 직접적으로 얻을 수 있는 실질적인 이점은 무엇입니까?
   • GPU가 필요하지 않음
   • 동일한 하드웨어에서 더 큰 추론 배치 크기와 더 긴 컨텍스트
   • 모든 언어로 자동 번역
   • 소프트맥스 연산 제거
7. What is the purpose of absorbing MLA up-projection weights into other projections?
   • Remove positional information from every token
   • Increase the size of the cached latent
   • Avoid materializing full per-head keys and values during inference
   • Replace attention with a recurrent network
8. What positional information does MLA handle on a separate decoupled key path?
   • Class labels from the training data
   • Image segmentation maps
   • The output vocabulary probabilities
   • Rotary position embeddings that cannot be absorbed like the other key projections