연속 배치 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. LLM 제공을 위한 정적(고정) 일괄 처리의 주요 약점은 무엇입니까?
   • CPU에서만 실행 가능
   • 먼저 모든 데이터에 라벨을 지정해야 합니다.
   • 짧은 요청은 일찍 완료되지만 배치가 가장 긴 요청을 기다리는 동안 해당 슬롯은 유휴 상태입니다.
   • 모델의 정확도가 떨어지게 됩니다.
2. 지속적인 일괄 처리는 요청을 어떤 단위로 추가하고 제거합니까?
   • 하루에 한 번
   • 디코딩 단계당(한 번에 하나의 토큰)
   • 전체 요청에 한해
   • 훈련 에포크당
3. A continuous-batching request finishes and frees capacity. What can the scheduler do next?
   • Restart every remaining request from its first token
   • Guarantee every queued request runs immediately
   • Discard the finished answer without returning it
   • Admit eligible queued work if its resource budgets allow
4. 시퀀스 삽입/제거를 저렴하게 만들기 위해 연속 일괄 처리와 자연스럽게 결합되는 기술은 무엇입니까?
   • PagedAttention의 블록 기반 KV 캐시
   • FP32 배정밀도
   • 디스크 교환
   • 수동 데이터 라벨링
5. 반복 수준(연속) 일괄 처리를 대중화한 것으로 일반적으로 인정받는 연구 논문은 무엇입니까?
   • 원래의 트랜스포머 페이퍼
   • 오르카 종이
   • 1980년대 데이터베이스 논문
   • ImageNet 논문
6. What utilization problem can continuous batching reduce compared with a fixed request batch?
   • Every model accuracy error
   • The need to store any KV cache
   • All queueing at any traffic rate
   • Waiting for the longest request before admitting new eligible work
7. A continuous-batching server has reached its memory budget. Must a newly arrived request enter the next iteration?
   • No; admission can wait until suitable capacity is available
   • Yes; the name guarantees unlimited request admission
   • Yes; the server removes all active outputs automatically
   • Only if the request has no punctuation
8. A long prompt’s prefill delays tokens for already decoding requests. Which serving objective exposes that tradeoff?
   • Measure only the weight-file name
   • Assume more admitted prompts always improve every latency
   • Measure time between decode tokens alongside throughput
   • Count only the number of model layers