PagedAttention 및 vLLM 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 텍스트 생성 중에 'KV 캐시'는 무엇을 저장합니까?
   • 모델의 훈련 데이터
   • 사용자의 로그인 자격 증명
   • 새 토큰이 이에 참여할 수 있도록 과거 토큰에 대한 키 및 값 벡터
   • 모델 가중치의 압축 사본
2. PagedAttention에 영감을 준 운영 체제 개념은 무엇입니까?
   • 디스크 조각 모음 도구
   • 가상 메모리 페이징
   • 파일 압축
   • CPU 분기 예측
3. PagedAttention은 기존 KV 캐시 할당과 관련된 어떤 문제를 해결합니까?
   • 느린 인터넷 연결
   • 학습 데이터 부족
   • 취약한 비밀번호 보안
   • 각 요청에 대해 큰 연속 블록을 예약하여 메모리 낭비
4. PagedAttention은 어떻게 여러 출력이 공통 프롬프트에 대한 메모리를 공유하도록 합니까?
   • 다른 시퀀스는 쓰기 중 복사를 통해 동일한 물리적 페이지를 가리킵니다.
   • 처음 사용 후 프롬프트를 삭제합니다.
   • 프롬프트를 디스크에 저장합니다.
   • 각 출력에 대해 모델을 재교육합니다.
5. vLLM과 PagedAttention은 원래 어디에서 개발되었나요?
   • 1990년대 학술 연구실
   • UC 버클리(2023년 출판)
   • 하드웨어 공급업체의 마케팅 팀
   • 익명의 온라인 포럼
6. LLM 서비스를 제공하는 사람에게 vLLM의 주요 실질적인 이점은 무엇입니까?
   • 벤치마크에서 더 큰 모델 정확도
   • 자동 데이터 라벨링
   • 무료 GPU 하드웨어
   • GPU당 더 높은 처리량 및 더 많은 동시 요청
7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
   • The sequence’s block table mapping logical blocks to physical blocks
   • The model’s class-label list
   • The learning-rate scheduler
   • A requirement that every block follow block 2 contiguously
8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
   • Paging guarantees every allocated byte contains a token
   • The entire model must be copied for each unused slot
   • Unused slots can remain in that final block despite reduced allocation fragmentation
   • The block table cannot represent a partial sequence