KV 캐시 최적화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. KV 캐시는 무엇을 저장하며 그 이유는 무엇입니까?
   • 이전에 계산된 주의 키와 값은 각 단계에서 다시 계산되지 않습니다.
   • 재학습을 위한 모델의 학습 데이터
   • 인증을 위한 사용자 비밀번호
   • 최종 텍스트 출력만
2. KV 캐시가 메모리 문제가 될 수 있는 이유는 무엇입니까?
   • GPU를 영구적으로 손상시킵니다.
   • 시퀀스 길이, 배치 크기 및 레이어에 따라 증가하며 때로는 모델 가중치를 초과합니다.
   • 10단어 미만의 텍스트에만 작동합니다.
   • 운영 체제를 복제합니다.
3. PagedAttention은 어떤 운영 체제 개념을 차용합니까?
   • 디스크 조각 모음 유틸리티
   • 바이러스 백신 검사
   • 고정 크기 블록을 사용한 가상 메모리 페이징
   • 화면 해상도 스케일링
4. Grouped-Query 및 Multi-Query Attention은 KV 캐시 크기를 어떻게 줄입니까?
   • 주의 메커니즘을 삭제하여
   • 캐시를 이미지로 저장하여
   • 더 적은 데이터로 훈련함으로써
   • 많은 쿼리 헤드가 더 적은 수의 키/값 헤드를 공유하도록 함으로써
5. KV 캐시에서 접두사 공유의 이점 중 하나는 무엇입니까?
   • 동일한 시작 프롬프트를 사용하는 요청은 동일한 캐시된 블록을 재사용할 수 있습니다.
   • 모델을 암호화합니다.
   • 모든 요청을 동일하게 느리게 합니다.
   • 주의를 기울일 필요가 없어집니다.
6. Compared with storing the same KV entries in 16-bit, what does 8-bit storage do to raw cache-value bytes?
   • It doubles the raw bytes
   • It roughly halves the raw bytes, before metadata and other runtime memory
   • It removes the key and value tensors entirely
   • It guarantees twice the inference speed
7. With full-context attention, no prefix sharing, and a fixed model and cache dtype, what happens if sequence length and batch size both double?
   • It stays constant because model weights are fixed
   • It roughly doubles
   • Raw KV storage grows to roughly four times its previous size
   • It becomes one quarter as large
8. What must generally match for two requests to reuse the same cached prefix blocks?
   • Only the user account name
   • The requests must have different model weights
   • The prompts must have the same character count but different tokens
   • Their tokenized prefix and relevant model/cache configuration must be compatible