Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bộ mã hóa tự động thưa thớt cho bài kiểm tra khả năng diễn giải

Kiểm tra việc tái cấu trúc và độ thưa thớt của bộ mã hóa tự động thưa thớt, các tính năng kích hoạt, mở rộng chiều rộng, phân tách tính năng và thử nghiệm điều khiển nhân quả.

Đường dẫn hướng dẫn liên quanBộ mã hóa tự động thưa thớt để có thể giải thích
Câu hỏi 1 của 8

Mục đích chính của việc đào tạo bộ mã hóa tự động thưa thớt khi kích hoạt mô hình là gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Mục đích chính của việc đào tạo bộ mã hóa tự động thưa thớt khi kích hoạt mô hình là gì?
    • Để phân tách các kích hoạt rối thành các tính năng có thể hiểu được, hầu hết bị cô lập
    • Nén mô hình để nó chạy nhanh hơn
    • Để dịch văn bản giữa các ngôn ngữ
    • Để tăng độ chính xác của mô hình trên điểm chuẩn
  2. How does an SAE’s sparsity penalty affect hidden-unit activations?
    • It guarantees each unit represents exactly one concept
    • It encourages only a small subset of the wider hidden layer to activate for an input
    • It makes every hidden unit activate equally
    • It removes the reconstruction objective
  3. Anthropic đã trích xuất khoảng bao nhiêu tính năng khi mở rộng SAE thành Claude 3 Sonnet vào năm 2024?
    • Khoảng 500
    • Khoảng 2.000
    • Khoảng 34 triệu
    • Khoảng 100 tỷ
  4. Cuộc biểu tình 'Cổng vàng Claude' cho thấy điều gì?
    • SAE đó chỉ có thể được đào tạo trên hình ảnh
    • Rằng mô hình không còn có thể tạo ra văn bản nữa
    • Các tính năng đó không ảnh hưởng đến đầu ra
    • Việc kẹp một tính năng duy nhất ở mức cao sẽ điều khiển hành vi của mô hình
  5. Tại sao lớp ẩn trong SAE thường RỘNG HƠN nhiều so với lớp kích hoạt mà nó tái tạo?
    • Bởi vì các khái niệm được xếp chồng lên nhau trong ít chiều hơn mức chúng thực sự cần, nên có nhiều đơn vị hơn giúp giải quyết chúng
    • Để đào tạo rẻ hơn
    • Bởi vì các lớp rộng hơn luôn chính xác hơn
    • Để giảm số lượng tham số
  6. Đâu là hạn chế đã biết của bộ mã hóa tự động thưa thớt hiện tại?
    • Họ không thể được đào tạo với độ dốc giảm dần
    • Phân tách tính năng, trong đó một khái niệm chia thành nhiều tính năng riêng biệt
    • Chúng chỉ hoạt động trên các mạng tích chập
    • Chúng loại bỏ sự cần thiết phải ghi nhãn của con người
  7. Which two objectives are commonly combined when training a sparse autoencoder?
    • A policy gradient and value loss
    • A next-token loss and a contrastive loss
    • Reconstruction error and a penalty on hidden activations
    • A calibration error and classification accuracy
  8. What does a TopK sparse autoencoder do to encourage sparsity?
    • Keeps the K largest input pixels and discards the decoder
    • Sets all encoder weights to zero
    • Trains K different tokenizers
    • Keeps only the K largest hidden activations for an input