Quiz lié à un guide · Difficile Niveau

Quiz sur l'attention linéaire RWKV

Explorez la porte de réception de RWKV, la décroissance temporelle, la récurrence clé/valeur, l'état de taille constante et le formulaire de formation parallèle de type transformateur.

Chemins de guidage associésAttention linéaire Rwkv
Question 1 de 8

Quelle est la propriété principale du RWKV ?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. Quelle est la propriété principale du RWKV ?
    • Il s'entraîne comme un transformateur mais exécute des inférences comme un RNN
    • Il ne peut être entraîné que sur des images
    • Il nécessite un cache clé-valeur quadratique
    • Cela ne peut pas du tout être parallélisé
  2. Que signifient les lettres de RWKV ?
    • Lire, écrire, conserver, vérifier
    • Réception, poids, clé, valeur
    • Récurrent, Large, Noyau, Vectoriel
    • Aléatoire, Pondéré, Connaissance, Variation
  3. Comment RWKV maintient-il la mémoire constante pendant la génération ?
    • En supprimant les poids du modèle
    • En stockant chaque jeton sur le disque
    • En reportant un petit état caché de taille fixe au lieu d'un cache croissant
    • En limitant les sorties à dix jetons
  4. Quel rôle joue le poids de désintégration temporelle (W) ?
    • Il définit le taux d'apprentissage
    • Il compte le nombre de jetons
    • Il choisit la langue de sortie
    • Il contrôle la rapidité avec laquelle les informations plus anciennes perdent leur influence
  5. Par rapport à l’attention softmax, qu’est-ce que la récurrence d’attention linéaire du RWKV évite ?
    • La comparaison quadratique des jetons toutes paires
    • Toute utilisation de clés et de valeurs
    • Le besoin d'intégrations
    • L'utilisation des réseaux de neurones
  6. Pourquoi le RWKV est-il particulièrement bien adapté à la génération de streaming ?
    • Parce qu'il doit voir l'intégralité de l'entrée avant toute sortie
    • Parce que chaque nouveau jeton dépend uniquement de l'état précédent de taille fixe
    • Parce qu'il ne peut pas générer de texte
    • Parce qu'il a besoin d'un cluster GPU pour chaque jeton
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions