Cuestionario vinculado a una guía · Medio Nivel

Prueba de EleutherAI

Revise los modelos de lenguaje abierto de EleutherAI, el conjunto de datos de Pile, las herramientas de evaluación y las opciones prácticas de arquitectura, como RoPE.

Rutas de guía relacionadasEleutherai
Pregunta 1 de 8

How did EleutherAI first bring together its research community?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. How did EleutherAI first bring together its research community?
    • As a Discord server for discussing GPT-3 and open language modeling
    • Como startup financiada con capital de riesgo en Silicon Valley
    • Como laboratorio de investigación gubernamental
    • As a university’s official AI department
  2. ¿Qué es 'La Pila'?
    • Un producto de chatbot patentado
    • Un conjunto de datos de texto abierto y curado de 825 GB para entrenar modelos de lenguaje
    • Un tipo de capa de red neuronal
    • La plataforma de computación en la nube de EleutherAI
  3. ¿Cuál de estos es un modelo de lenguaje EleutherAI?
    • BERT-Grande
    • Llama-2
    • GPT-NeoX-20B
    • palma
  4. ¿Para qué se utiliza el arnés de evaluación LM?
    • Generando imágenes a partir de texto
    • Comprimir pesos de modelos
    • Alojamiento de modelos como API web
    • Comparación de modelos de lenguaje en muchas tareas
  5. Which organizations are named in EleutherAI’s retrospective as research supporters?
    • CoreWeave and Google TPU Research Cloud
    • Nvidia and the National Science Foundation only
    • The U.S. Department of Energy and NASA
    • Amazon and the European Space Agency
  6. ¿Qué cambio organizativo realizó EleutherAI en 2023?
    • Fue adquirido por OpenAI
    • Se formalizó como un instituto de investigación sin fines de lucro.
    • Se convirtió en un fondo de cobertura con fines de lucro.
    • Se apago por completo
  7. Which positional method does the GPT-NeoX-20B paper describe using instead of learned absolute position embeddings?
    • A separate learned embedding for every document
    • A convolutional image-position map
    • Rotary Positional Embeddings (RoPE)
    • A random position permutation at each layer
  8. What architectural arrangement is highlighted as a GPT-NeoX-20B difference from GPT-3?
    • The model replaces its Transformer with a decision tree
    • Every layer removes the attention mechanism
    • It uses only an encoder and no autoregressive decoder
    • Attention and feed-forward layers can be computed in parallel