Bài kiểm tra triển khai chú ý và cắt tỉa đầu

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Mục tiêu của việc triển khai sự chú ý là gì?
   • Để theo dõi luồng thông tin tích lũy từ mã thông báo đầu vào đến đầu ra trên các lớp
   • Để thêm nhiều lớp hơn vào Máy biến áp
   • Để tăng tỷ lệ học tập
   • Để chuyển sự chú ý thành tích chập
2. Tại sao bản đồ chú ý của một lớp thường không đủ để giải thích?
   • Sự chú ý không bao giờ được tính toán
   • Thông tin trộn lẫn giữa nhiều lớp và nhiều đầu, vì vậy một bản đồ sẽ bỏ lỡ đường dẫn đầy đủ
   • Bản đồ luôn thống nhất
   • Máy biến áp chỉ có một đầu
3. Việc triển khai chú ý bổ sung thêm điều gì vào mỗi ma trận chú ý để tính đến các kết nối còn lại?
   • Độ lệch bằng 0
   • Thuật ngữ tiếng ồn ngẫu nhiên
   • Một thành phần ma trận nhận dạng trước khi chuẩn hóa
   • Một softmax bổ sung
4. Nghiên cứu về sự chú ý của nhiều đầu đã tiết lộ điều gì về tình trạng dư thừa đầu?
   • Mỗi cái đầu đều cần thiết
   • Đầu không thể được gỡ bỏ
   • Cắt tỉa luôn tăng gấp đôi độ chính xác
   • Nhiều đầu có thể được cắt tỉa mà ít mất độ chính xác
5. Tầm quan trọng của phần đầu thường được ước tính như thế nào đối với việc cắt tỉa?
   • Thông qua độ nhạy dựa trên độ dốc của sự mất mát đối với mặt nạ đầu
   • Theo vị trí bảng chữ cái của nó
   • Bằng cách chỉ đếm các tham số của nó
   • Đến thời điểm trong ngày
6. What different jobs do attention rollout and head pruning each do?
   • Chúng là những kỹ thuật giống hệt nhau
   • Triển khai hỗ trợ giải thích trong khi cắt tỉa khai thác sự dư thừa để nén mô hình
   • Cả hai chỉ thêm tham số
   • Không chạm vào sự chú ý
7. In an attention-rollout calculation, why are residual paths included with layer attention?
   • To make every head have the same weight
   • To remove the value vectors from the Transformer
   • To approximate information that can pass along the identity path when layer transitions are composed
   • To prevent the attention matrix from being normalized
8. How should an attention-rollout score be interpreted?
   • As proof that a token caused the output
   • As the exact value vector used at every layer
   • As a measure of how many heads the model contains
   • As a post-hoc approximation of relative token influence, not a causal explanation