Útmutatóhoz kapcsolódó kvíz · Közepes Szint

EleutherAI kvíz

Review EleutherAI's open language models, Pile dataset, evaluation tools, and practical architecture choices such as RoPE.

Kapcsolódó útmutató utakEleutherai
kérdés 1 -ból 8

How did EleutherAI first bring together its research community?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. How did EleutherAI first bring together its research community?
    • As a Discord server for discussing GPT-3 and open language modeling
    • Kockázati finanszírozású startupként a Szilícium-völgyben
    • Kormányzati kutatólaboratóriumként
    • As a university’s official AI department
  2. Mi az a "The Pile"?
    • Saját fejlesztésű chatbot termék
    • 825 GB-os nyílt szöveges adatkészlet a nyelvi képzési modellekhez
    • A neurális hálózati réteg egy típusa
    • Az EleutherAI számítási felhő platformja
  3. Ezek közül melyik az EleutherAI nyelvi modell?
    • BERT-Nagy
    • LLaMA-2
    • GPT-NeoX-20B
    • PaLM
  4. Mire használható az LM kiértékelő kábelköteg?
    • Képek generálása szövegből
    • Modellsúlyok tömörítése
    • Tárhelymodellek webes API-kként
    • Nyelvi modellek összehasonlítása számos feladatban
  5. Which organizations are named in EleutherAI’s retrospective as research supporters?
    • CoreWeave and Google TPU Research Cloud
    • Nvidia and the National Science Foundation only
    • The U.S. Department of Energy and NASA
    • Amazon and the European Space Agency
  6. Milyen szervezeti változást hajtott végre az EleutherAI 2023-ban?
    • OpenAI szerezte be
    • Nonprofit kutatóintézetté formálódott
    • Forprofit fedezeti alap lett
    • Teljesen leállt
  7. Which positional method does the GPT-NeoX-20B paper describe using instead of learned absolute position embeddings?
    • A separate learned embedding for every document
    • A convolutional image-position map
    • Rotary Positional Embeddings (RoPE)
    • A random position permutation at each layer
  8. What architectural arrangement is highlighted as a GPT-NeoX-20B difference from GPT-3?
    • The model replaces its Transformer with a decision tree
    • Every layer removes the attention mechanism
    • It uses only an encoder and no autoregressive decoder
    • Attention and feed-forward layers can be computed in parallel