Bài kiểm tra đánh giá tính năng tuyến tính và đông lạnh

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trong đầu dò tuyến tính tiêu chuẩn, thông số nào được cập nhật trong quá trình huấn luyện?
   • Chỉ có trình phân loại tuyến tính mới được thêm vào ở trên cùng
   • Toàn bộ đường trục cộng với lớp tuyến tính
   • Chỉ có xương sống, để lại bộ phân loại cố định
   • Lớp nhúng và khối chú ý cuối cùng
2. What does high linear-probe accuracy most directly show?
   • The backbone causally uses the feature for every prediction
   • The labels are decodable by a linear classifier from the frozen features under that dataset and protocol
   • The representation is robust to every distribution shift
   • The probe has identified a human-interpretable mechanism
3. So với việc tinh chỉnh hoàn toàn, thăm dò tuyến tính chủ yếu hấp dẫn vì nó:
   • Chính xác hơn trong mọi nhiệm vụ
   • Đảm bảo khái quát hóa tốt hơn ngoài phân phối
   • Rẻ hơn về điện toán và bộ nhớ, đồng thời mang lại khả năng đọc rõ ràng hơn về chất lượng tính năng
   • Cách duy nhất để sử dụng mô hình được đào tạo trước
4. Một phát hiện thực nghiệm phổ biến khi thăm dò máy biến áp là:
   • Lớp cuối cùng luôn cho độ chính xác đầu dò tốt nhất
   • Việc thăm dò chỉ hoạt động trên các mạng tích chập
   • Lựa chọn lớp không bao giờ ảnh hưởng đến kết quả thăm dò
   • Các lớp trung gian thường hoạt động tốt hơn lớp cuối cùng trong việc chuyển giao
5. Ngoài việc đo điểm chuẩn, các thăm dò tuyến tính ngày càng được sử dụng nhiều hơn trong khả năng diễn giải nhằm:
   • Phát hiện xem khái niệm như tính trung thực có được mã hóa ở trạng thái ẩn hay không
   • Nén mô hình để triển khai di động
   • Thay thế trình tối ưu hóa trong quá trình đào tạo trước
   • Tự động tạo dữ liệu đào tạo mới
6. Rủi ro chính về phương pháp luận khi diễn giải độ chính xác cao của đầu dò là:
   • Xương sống bí mật tiếp tục huấn luyện
   • Cuộc thăm dò có thể đang khai thác một mối tương quan giả mạo hơn là khái niệm thực sự
   • Đầu dò tuyến tính không thể phù hợp quá mức
   • Mất entropy chéo không thể được sử dụng
7. To compare two backbone layers with linear probes, what should remain consistent?
   • The feature vectors from each layer
   • The layer being evaluated
   • The task labels, data split and probe-training protocol
   • The activation values themselves
8. Why might feature normalization and learning-rate sweeps be used in a probe evaluation?
   • To update the frozen backbone
   • To add hidden nonlinear layers to the probe
   • To guarantee the concept is causally used
   • To reduce optimization and scale effects that could distort the representation comparison