Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra EleutherAI

Xem lại các mô hình ngôn ngữ mở, tập dữ liệu Pile, công cụ đánh giá và các lựa chọn kiến ​​trúc thực tế của EleutherAI như RoPE.

Đường dẫn hướng dẫn liên quanEleutherai
Câu hỏi 1 của 8

How did EleutherAI first bring together its research community?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. How did EleutherAI first bring together its research community?
    • As a Discord server for discussing GPT-3 and open language modeling
    • Là một công ty khởi nghiệp được tài trợ mạo hiểm ở Thung lũng Silicon
    • Là phòng thí nghiệm nghiên cứu của chính phủ
    • As a university’s official AI department
  2. 'Cọc' là gì?
    • Một sản phẩm chatbot độc quyền
    • Bộ dữ liệu văn bản được tuyển chọn mở có dung lượng 825 GB dành cho các mô hình ngôn ngữ đào tạo
    • Một loại lớp mạng thần kinh
    • Nền tảng điện toán đám mây của EleutherAI
  3. Cái nào trong số này là mô hình ngôn ngữ EleutherAI?
    • BERT-Lớn
    • LLaMA-2
    • GPT-NeoX-20B
    • PaLM
  4. Khai thác đánh giá LM được sử dụng để làm gì?
    • Tạo hình ảnh từ văn bản
    • Nén trọng lượng mô hình
    • Mô hình lưu trữ dưới dạng API web
    • Điểm chuẩn các mô hình ngôn ngữ qua nhiều tác vụ
  5. Which organizations are named in EleutherAI’s retrospective as research supporters?
    • CoreWeave and Google TPU Research Cloud
    • Nvidia and the National Science Foundation only
    • The U.S. Department of Energy and NASA
    • Amazon and the European Space Agency
  6. EleutherAI đã thực hiện thay đổi tổ chức nào vào năm 2023?
    • Nó đã được mua lại bởi OpenAI
    • Nó được chính thức hóa như một viện nghiên cứu phi lợi nhuận
    • Nó đã trở thành một quỹ phòng hộ vì lợi nhuận
    • Nó tắt hoàn toàn
  7. Which positional method does the GPT-NeoX-20B paper describe using instead of learned absolute position embeddings?
    • A separate learned embedding for every document
    • A convolutional image-position map
    • Rotary Positional Embeddings (RoPE)
    • A random position permutation at each layer
  8. What architectural arrangement is highlighted as a GPT-NeoX-20B difference from GPT-3?
    • The model replaces its Transformer with a decision tree
    • Every layer removes the attention mechanism
    • It uses only an encoder and no autoregressive decoder
    • Attention and feed-forward layers can be computed in parallel