Bài kiểm tra có liên kết hướng dẫn · Cứng Cấp độ

Bài kiểm tra kỹ thuật biểu diễn và chỉ đạo kích hoạt

Kiểm tra cách ước tính vectơ điều khiển kích hoạt, áp dụng khi suy luận và chia tỷ lệ, cùng với các rủi ro từ việc khái quát hóa phụ thuộc vào lời nhắc.

Đường dẫn hướng dẫn liên quanKỹ thuật đại diện và chỉ đạo kích hoạt
Câu hỏi 1 của 8

Hệ thống lái kích hoạt can thiệp vào thời điểm nào trong hoạt động của mô hình?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Hệ thống lái kích hoạt can thiệp vào thời điểm nào trong hoạt động của mô hình?
    • Tại thời điểm suy luận, bằng cách sửa đổi kích hoạt ẩn
    • Chỉ trong quá trình đào tạo trước
    • Trong quá trình thu thập dữ liệu
    • Chỉ sau khi văn bản đầu ra được in
  2. Vector lái thường được tính toán như thế nào?
    • Bằng cách khởi tạo ngẫu nhiên một ma trận
    • Là sự khác biệt trung bình giữa các lần kích hoạt trên các lời nhắc tích cực và tiêu cực tương phản
    • Bằng cách xóa các lớp khỏi mô hình
    • Bằng cách đếm mã thông báo trong lời nhắc
  3. Giả thuyết nào làm cơ sở cho việc tại sao hệ thống lái kích hoạt lại hoạt động?
    • Ý tưởng rằng các mô hình lưu trữ dữ liệu dưới dạng văn bản thuần túy
    • Niềm tin rằng tất cả các tế bào thần kinh đều giống hệt nhau
    • Giả thuyết biểu diễn tuyến tính, cho rằng nhiều đặc điểm có hướng gần như tuyến tính
    • Khẳng định rằng các mô hình không thể biểu diễn các khái niệm
  4. Hệ số tỷ lệ trên vectơ lái điều khiển những gì?
    • Kích thước từ vựng của mô hình
    • Số lớp trong mô hình
    • Tỷ lệ học tập đào tạo
    • Hành vi được đẩy mạnh theo hướng đã chọn như thế nào
  5. Rủi ro đã biết khi chỉ đạo một mô hình quá mạnh mẽ là gì?
    • Sự gắn kết và năng lực đầu ra có thể bị suy giảm
    • Mô hình tự động đào tạo
    • Kích thước tập tin tăng lên không thể kiểm soát
    • Nó vĩnh viễn viết lại trọng lượng
  6. Kỹ thuật nào thường được kết hợp với việc điều khiển để tìm ra những đặc điểm có thể hiểu được để kẹp?
    • nén JPEG
    • Bộ mã hóa tự động thưa thớt phân tách kích hoạt thành các tính năng
    • Đăng ký tên miền
    • Chống phân mảnh đĩa
  7. How does activation steering differ from fine-tuning the model weights?
    • It retrains the model on a new labeled dataset
    • It changes the tokenizer vocabulary
    • It adds a vector to hidden activations during inference without updating the base weights
    • It replaces the attention layers with a classifier
  8. A steering vector works on the prompts used to compute it but not on a different topic. Which limitation does this illustrate?
    • The vector must be an optimizer state
    • Steering always requires fine-tuning
    • A residual stream contains no features
    • The direction found from one prompt set may not generalize to other contexts