Cuestionario vinculado a una guía · duro Nivel

Prueba de publicación desglosada de precarga y decodificación

Comprueba los cuellos de botella de precarga y decodificación, la transferencia de caché KV, la interferencia de fase, el ajuste de recursos y los sistemas de servicio desagregados.

Rutas de guía relacionadasServicio de precarga y decodificación desagregado
Pregunta 1 de 8

¿Cuál es la razón principal del hardware para separar el precarga y la decodificación en diferentes grupos de GPU?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Cuál es la razón principal del hardware para separar el precarga y la decodificación en diferentes grupos de GPU?
    • El prellenado está vinculado a la computación, mientras que la decodificación está vinculada al ancho de banda de la memoria.
    • Utilizan diferentes lenguajes de programación.
    • La decodificación requiere más electricidad que el precarga
    • Prefill no puede ejecutarse en GPU en absoluto
  2. ¿Qué estructura de datos se debe transferir de los trabajadores de prellenado a los trabajadores de decodificación?
    • Los pesos del modelo
    • La caché KV (clave-valor)
    • El vocabulario tokenizador
    • El estado del optimizador
  3. ¿Qué problema reduce específicamente la desagregación en una configuración de GPU compartida?
    • El controlador de la GPU falla
    • Pérdida de paquetes de red en Internet.
    • Bloqueo de cabecera de línea donde un llenado previo largo detiene la decodificación de otros
    • Alucinación modelo
  4. ¿Por qué el precargado se puede realizar por lotes de forma agresiva pero la decodificación se beneficia de diferentes ajustes?
    • Decode nunca usa la GPU
    • El precarga solo se ejecuta una vez al día
    • El procesamiento por lotes es imposible durante el precarga
    • Los tokens de precarga se leen en paralelo, lo que maximiza la utilización informática por pasada.
  5. ¿Qué interconexiones se utilizan normalmente para mover la caché KV entre grupos desagregados?
    • NVLink o InfiniBand
    • Módems de acceso telefónico
    • Cables USB 2.0
    • bluetooth
  6. ¿Qué sistemas con nombre están asociados con el servicio de precarga/decodificación desagregado?
    • TCP, UDP y HTTP
    • DistServe, Splitwise y Mooncake
    • Word, Excel y PowerPoint
    • JPEG, PNG y GIF
  7. Why must the KV cache produced during prefill be available to the decode workers?
    • It contains the model’s optimizer state
    • It stores the user’s GPU allocation
    • Decode uses cached prompt keys and values to generate subsequent tokens without recomputing the whole prompt
    • It is needed only to calculate validation accuracy
  8. What is a resource-allocation benefit of separating prefill and decode pools?
    • Both phases must use identical batch sizes
    • The model no longer needs a KV cache
    • The scheduler can eliminate all network communication
    • Each phase can be sized and parallelized for its own compute or memory bottleneck