Questionário vinculado ao guia · Difícil Nível

Questionário de atenção linear RWKV

Explore a porta de recepção, redução de tempo, recorrência de chave/valor, estado de tamanho constante e forma de treinamento paralelo semelhante ao Transformer do RWKV.

Caminhos de guia relacionadosAtenção Linear Rwkv
Pergunta 1 de 8

Qual é a propriedade do título do RWKV?

Visualize cada pergunta8 perguntas

As respostas e explicações aparecem conforme você responde ao teste.

  1. Qual é a propriedade do título do RWKV?
    • Ele treina como um Transformer, mas executa inferência como um RNN
    • Só pode ser treinado em imagens
    • Requer um cache de valor-chave quadrático
    • Não pode ser paralelizado de forma alguma
  2. O que significam as letras em RWKV?
    • Ler, escrever, guardar, verificar
    • Recepção, Peso, Chave, Valor
    • Recorrente, Largo, Kernel, Vetor
    • Aleatório, Ponderado, Conhecimento, Variação
  3. Como o RWKV mantém a memória constante durante a geração?
    • Excluindo os pesos do modelo
    • Armazenando todos os tokens no disco
    • Transportando um pequeno estado oculto de tamanho fixo em vez de um cache crescente
    • Limitando as saídas a dez tokens
  4. Qual o papel do peso de decaimento do tempo (W)?
    • Ele define a taxa de aprendizagem
    • Conta o número de tokens
    • Ele escolhe o idioma de saída
    • Ele controla a rapidez com que as informações mais antigas perdem influência
  5. Em comparação com a atenção softmax, o que a recorrência da atenção linear do RWKV evita?
    • A comparação quadrática de tokens de todos os pares
    • Qualquer uso de chaves e valores
    • A necessidade de incorporações
    • O uso de redes neurais
  6. Por que o RWKV é especialmente adequado para geração de streaming?
    • Porque deve ver toda a entrada antes de qualquer saída
    • Porque cada novo token depende apenas do estado anterior de tamanho fixo
    • Porque não pode gerar texto
    • Porque precisa de um cluster GPU para cada token
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions