Câu hỏi về ống kính logit và ống kính điều chỉnh

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Ống kính logit làm gì?
   • Áp dụng tính năng hủy nhúng cuối cùng của mô hình cho các trạng thái ẩn trung gian để đọc dự đoán trên mỗi lớp
   • Thêm các lớp mới vào máy biến áp
   • Loại bỏ sự chú ý khỏi mô hình
   • Dịch giữa các ngôn ngữ của con người
2. Ống kính được điều chỉnh có thêm cải tiến quan trọng nào so với ống kính logit thô?
   • Nó sử dụng vốn từ vựng lớn hơn
   • Nó huấn luyện một bản đồ affine nhỏ trên mỗi lớp để chuyển các trạng thái ẩn thành cơ sở cuối cùng
   • Nó loại bỏ sự cần thiết của bất kỳ việc gỡ bỏ
   • Nó chỉ hoạt động trên các mô hình hình ảnh
3. Cấu trúc nào trong máy biến thế làm cho những thấu kính này có thể tồn tại được?
   • Các bộ lọc tích chập
   • Công cụ mã thông báo
   • Luồng dư bổ sung mà quá trình hủy nhúng sau này chiếu vào nhật ký
   • Tốc độ học tập của trình tối ưu hóa
4. Ai đã giới thiệu ống kính logit ban đầu và khoảng khi nào?
   • DeepMind năm 2015
   • OpenAI vào năm 2018
   • Google vào năm 2012
   • hoài cổ năm 2020
5. Ống kính logit thường hiện câu trả lời cuối cùng “kết tinh” ở đâu?
   • Ở các lớp giữa đến cuối
   • Chỉ ở lớp đầu tiên
   • Không bao giờ, câu trả lời xuất hiện cùng một lúc
   • Hoàn toàn nằm ngoài mô hình
6. Tại sao ống kính logit thô có thể không đáng tin cậy ở các lớp đầu?
   • Các lớp đầu không có nơ-ron
   • Các trạng thái ẩn của chúng chưa được căn chỉnh với cơ sở đầu ra cuối cùng mà việc giải mã mong đợi
   • Các lớp đầu tiên không bao giờ được sử dụng trong dự đoán
   • Ma trận không nhúng là ngẫu nhiên
7. What does the model’s final unembedding map a residual-stream vector into?
   • A new set of transformer layers
   • A similarity graph over training examples
   • Vocabulary logits that can be converted into token probabilities
   • A gradient clipping threshold
8. Why can an early-layer raw logit-lens prediction be misleading?
   • The layer has already generated the full answer
   • The tokenizer has been removed
   • The unembedding only works on images
   • The intermediate state may not yet be aligned with the final output basis