분리된 미리 채우기 및 디코딩 제공 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 사전 채우기와 디코딩을 서로 다른 GPU 풀로 분리하는 핵심 하드웨어 이유는 무엇입니까?
   • 프리필은 컴퓨팅에 바인딩되고 디코드는 메모리 대역폭에 바인딩됩니다.
   • 그들은 다른 프로그래밍 언어를 사용합니다
   • 디코드에는 프리필보다 더 많은 전력이 필요합니다.
   • 사전 채우기는 GPU에서 전혀 실행될 수 없습니다.
2. 프리필 워커에서 디코딩 워커로 어떤 데이터 구조를 전송해야 합니까?
   • 모델 가중치
   • KV(키-값) 캐시
   • 토크나이저 어휘
   • 최적화 상태
3. 공유 GPU 설정에서 분할이 특히 감소하는 문제는 무엇입니까?
   • GPU 드라이버 충돌
   • 인터넷의 네트워크 패킷 손실
   • 긴 프리필로 인해 다른 사람의 디코딩이 지연되는 헤드 오브 라인 차단
   • 모델 환각
4. 사전 채우기를 적극적으로 일괄 처리할 수 있지만 디코드는 다른 조정을 통해 이점을 얻을 수 있는 이유는 무엇입니까?
   • 디코드는 GPU를 사용하지 않습니다.
   • 미리 채우기는 하루에 한 번만 실행됩니다.
   • 사전 채우기 중에는 일괄 처리가 불가능합니다.
   • 미리 채우기 토큰을 병렬로 읽어 패스당 컴퓨팅 활용도를 극대화합니다.
5. 분리된 풀 간에 KV 캐시를 이동하는 데 일반적으로 어떤 상호 연결이 사용됩니까?
   • NVLink 또는 InfiniBand
   • 전화 접속 모뎀
   • USB 2.0 케이블
   • 블루투스
6. 분리된 사전 채우기/디코드 제공과 연결된 명명된 시스템은 무엇입니까?
   • TCP, UDP, HTTP
   • DistServe, Splitwise 및 Mooncake
   • 워드, 엑셀, 파워포인트
   • JPEG, PNG, GIF
7. Why must the KV cache produced during prefill be available to the decode workers?
   • It contains the model’s optimizer state
   • It stores the user’s GPU allocation
   • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
   • It is needed only to calculate validation accuracy
8. What is a resource-allocation benefit of separating prefill and decode pools?
   • Both phases must use identical batch sizes
   • The model no longer needs a KV cache
   • The scheduler can eliminate all network communication
   • Each phase can be sized and parallelized for its own compute or memory bottleneck