KV 캐시 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. KV 캐시는 무엇을 저장합니까?
   • 이전 토큰에 대해 계산된 키 및 값 벡터
   • 모델의 전체 중량 매트릭스
   • 일반 텍스트로 된 사용자의 채팅 기록
   • 최종 출력 확률
2. KV 캐시는 주로 어떤 문제를 해결합니까?
   • 생성된 텍스트의 문법을 향상시킵니다.
   • 모든 단계에서 모든 이전 토큰의 키와 값을 다시 계산하지 않습니다.
   • 모델의 어휘력이 늘어납니다.
   • 대화를 암호화합니다
3. KV 캐시의 주요 단점은 무엇입니까?
   • 세대가 느려지네요
   • 출력 품질이 저하됩니다.
   • 메모리 사용량은 컨텍스트 길이에 따라 선형적으로 증가합니다.
   • CPU에서만 작동합니다.
4. 어텐션 헤드 간에 키와 값을 공유하여 KV 캐시 크기를 줄이는 기술은 무엇입니까?
   • 탈락
   • 빔 검색
   • 토큰화
   • 그룹화된 쿼리 또는 다중 쿼리 어텐션
5. KV 캐시와 관련된 변환기 추론의 두 단계는 무엇입니까?
   • 미리 채우기(프롬프트 처리) 및 디코딩(한 번에 하나의 토큰 생성)
   • 훈련 및 테스트
   • 인코딩 및 압축
   • 업로드 및 다운로드
6. vLLM의 PagedAttention은 KV 캐시에 대해 어떤 역할을 합니까?
   • 각 토큰 다음에 캐시를 삭제합니다.
   • 메모리 조각화를 줄이기 위해 연속되지 않은 블록에 캐시를 할당합니다.
   • 캐시를 텍스트로 변환합니다.
   • 모델의 매개변수 수를 두 배로 늘립니다.
7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
   • The cache stores all training examples on the GPU
   • Each request creates a new model copy
   • Each active sequence retains key and value tensors that grow with its generated context
   • The cache stores only final text on disk
8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
   • It makes unrelated prefixes identical
   • It removes the need to compute attention
   • It guarantees lower latency in every workload
   • It can avoid storing duplicate prefix state and reduce memory use