Questionário vinculado ao guia · Médio Nível

Questionário de cache KV

Revise a reutilização do cache KV durante a decodificação autoregressiva, pressão de memória, compartilhamento de múltiplas solicitações e compensações de alocação paginada.

Caminhos de guia relacionadosCache Kv
Pergunta 1 de 8

O que o cache KV armazena?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. O que o cache KV armazena?
    • Os vetores de chave e valor calculados para tokens anteriores
    • As matrizes de peso total do modelo
    • O histórico de bate-papo do usuário como texto simples
    • As probabilidades de saída final
  2. Qual problema o cache KV resolve principalmente?
    • Melhora a gramática do texto gerado
    • Evita recomputar chaves e valores para todos os tokens anteriores em cada etapa
    • Aumenta o vocabulário do modelo
    • Ele criptografa a conversa
  3. Qual é a principal desvantagem do cache KV?
    • Isso torna a geração mais lenta
    • Reduz a qualidade da saída
    • Seu uso de memória cresce linearmente com o comprimento do contexto
    • Funciona apenas em CPUs
  4. Qual técnica reduz o tamanho do cache KV compartilhando chaves e valores entre cabeças de atenção?
    • Abandono
    • Pesquisa de feixe
    • Tokenização
    • Atenção de consulta agrupada ou multiconsulta
  5. Quais são as duas fases de inferência do transformador em relação ao cache KV?
    • Preencher previamente (processar o prompt) e decodificar (gerar um token por vez)
    • Treinamento e testes
    • Codificar e compactar
    • Carregar e baixar
  6. O que o PagedAttention do vLLM faz pelo cache KV?
    • Exclui o cache após cada token
    • Aloca o cache em blocos não contíguos para reduzir a fragmentação da memória
    • Converte o cache em texto
    • Duplica a contagem de parâmetros do modelo
  7. Why can KV-cache memory limit how many requests a GPU serves concurrently?
    • The cache stores all training examples on the GPU
    • Each request creates a new model copy
    • Each active sequence retains key and value tensors that grow with its generated context
    • The cache stores only final text on disk
  8. What is one benefit of sharing KV-cache blocks among requests with a common prefix?
    • It makes unrelated prefixes identical
    • It removes the need to compute attention
    • It guarantees lower latency in every workload
    • It can avoid storing duplicate prefix state and reduce memory use