Quiz lié à un guide · Moyen Niveau

Quiz EleutherAI

Passez en revue les modèles de langage ouvert d'EleutherAI, l'ensemble de données Pile, les outils d'évaluation et les choix d'architecture pratiques tels que RoPE.

Chemins de guidage associésEleutherai
Question 1 de 8

How did EleutherAI first bring together its research community?

Prévisualisez chaque question8 des questions

Les réponses et les explications apparaissent au fur et à mesure que vous répondez au quiz.

  1. How did EleutherAI first bring together its research community?
    • As a Discord server for discussing GPT-3 and open language modeling
    • En tant que startup financée par capital-risque dans la Silicon Valley
    • En tant que laboratoire de recherche gouvernemental
    • As a university’s official AI department
  2. Qu'est-ce que « La Pile » ?
    • Un produit chatbot propriétaire
    • Un ensemble de données textuelles ouvertes de 825 Go pour la formation des modèles linguistiques
    • Un type de couche de réseau neuronal
    • La plateforme de cloud computing d'EleutherAI
  3. Lequel de ces modèles est un modèle de langage EleutherAI ?
    • BERT-Grand
    • LLaMA-2
    • GPT-NeoX-20B
    • PaLM
  4. À quoi sert le harnais d’évaluation LM ?
    • Générer des images à partir de texte
    • Compression des poids du modèle
    • Modèles d'hébergement en tant qu'API Web
    • Analyse comparative des modèles de langage pour de nombreuses tâches
  5. Which organizations are named in EleutherAI’s retrospective as research supporters?
    • CoreWeave and Google TPU Research Cloud
    • Nvidia and the National Science Foundation only
    • The U.S. Department of Energy and NASA
    • Amazon and the European Space Agency
  6. Quel changement organisationnel EleutherAI a-t-il apporté en 2023 ?
    • Il a été acquis par OpenAI
    • Il s'est formalisé en institut de recherche à but non lucratif
    • C'est devenu un hedge fund à but lucratif
    • Il s'est complètement arrêté
  7. Which positional method does the GPT-NeoX-20B paper describe using instead of learned absolute position embeddings?
    • A separate learned embedding for every document
    • A convolutional image-position map
    • Rotary Positional Embeddings (RoPE)
    • A random position permutation at each layer
  8. What architectural arrangement is highlighted as a GPT-NeoX-20B difference from GPT-3?
    • The model replaces its Transformer with a decision tree
    • Every layer removes the attention mechanism
    • It uses only an encoder and no autoregressive decoder
    • Attention and feed-forward layers can be computed in parallel