LLM 추론 라우팅 및 로드 밸런싱 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 일반 라운드 로빈이 LLM 추론에 대한 로드 밸런싱 전략이 좋지 않은 이유는 무엇입니까?
   • 요청의 비용은 매우 다양하며 복제본은 고정 KV 캐시를 보유합니다.
   • 대부분의 국가에서 불법입니다
   • 라운드 로빈은 데이터베이스에서만 작동합니다.
   • 실행하려면 GPU가 필요합니다.
2. '접두사-캐시 선호도' 라우팅은 무엇을 달성하려고 합니까?
   • 각 요청을 임의의 GPU로 보내기
   • 이미 프롬프트 접두사를 캐시한 복제본으로 요청 라우팅
   • 보내기 전에 프롬프트 암호화
   • 모델 가중치 압축
3. 난이도 기반 모델 라우팅에서 쉬운 쿼리는 일반적으로 어떻게 되나요?
   • 거부됩니다
   • 사용 가능한 가장 큰 모델로 전송됩니다.
   • 작고 저렴한 모델로 보내집니다
   • 24시간 대기중입니다
4. LLM 인식 로드 밸런서에 가장 유용한 실시간 신호는 무엇입니까?
   • 서버의 호스트 이름 길이
   • 랙의 색상
   • 사용자만의 시간대
   • 각 복제본의 큐 깊이 및 KV 캐시 점유
5. LiteLLM과 같은 도구는 다중 공급자 설정에서 무엇을 제공합니까?
   • 여러 모델 제공자 간에 균형을 맞추고 장애 조치를 수행하는 단일 프록시
   • 새로운 트랜스포머 아키텍처
   • GPU 냉각 시스템
   • 토크나이저의 대체품
6. 균형 조정을 위해 긴 출력 요청 하나가 짧은 출력 요청 여러 개보다 더 중요한 이유는 무엇입니까?
   • 긴 출력은 리소스를 사용하지 않습니다.
   • 각 출력 토큰에는 전체 전달 패스 비용이 들므로 총 토큰 로드는 요청 수보다 중요합니다.
   • 짧은 요청은 항상 느립니다.
   • 라우터는 출력 길이를 전혀 볼 수 없습니다
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • 모델 매개변수의 총 개수
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing