Prueba de atención lineal RWKV

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

1. ¿Cuál es la propiedad principal de RWKV?
   • Entrena como un Transformer pero ejecuta inferencias como un RNN
   • Sólo se puede entrenar en imágenes.
   • Requiere una caché de valores clave cuadrática
   • No se puede paralelizar en absoluto.
2. ¿Qué significan las letras en RWKV?
   • Leer, escribir, conservar, verificar
   • Receptancia, Peso, Clave, Valor
   • Recurrente, Amplia, Núcleo, Vector
   • Aleatorio, Ponderado, Conocimiento, Variación
3. ¿Cómo mantiene RWKV la memoria constante durante la generación?
   • Eliminando los pesos del modelo.
   • Almacenando cada token en el disco
   • Al llevar adelante un pequeño estado oculto de tamaño fijo en lugar de un caché en crecimiento
   • Limitando las salidas a diez tokens
4. ¿Qué papel juega el peso de caída del tiempo (W)?
   • Establece la tasa de aprendizaje.
   • Cuenta el número de tokens.
   • Elige el idioma de salida.
   • Controla la rapidez con la que la información más antigua pierde influencia
5. En comparación con la atención softmax, ¿qué evita la recurrencia de la atención lineal de RWKV?
   • La comparación cuadrática de tokens de todos los pares
   • Cualquier uso de claves y valores.
   • La necesidad de incrustaciones
   • El uso de redes neuronales.
6. ¿Por qué RWKV es especialmente adecuado para la generación de streaming?
   • Porque debe ver toda la entrada antes de cualquier salida.
   • Porque cada nuevo token depende sólo del estado anterior de tamaño fijo
   • Porque no puede generar texto.
   • Porque necesita un clúster de GPU para cada token
7. In the guide’s RWKV description, what does the receptance gate control?
   • How many image patches are generated
   • The size of the model vocabulary
   • How much of the accumulated state is read out
   • The amount of GPU memory available
8. What training property does RWKV retain from Transformers?
   • Full quadratic key-value caching at inference
   • A separate generator and discriminator
   • A fixed top-k token router in every layer
   • Parallelizable training across sequence positions