Bài kiểm tra kích hoạt SwiGLU và Gated

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Hoạt động cốt lõi nào xác định Đơn vị tuyến tính có cổng?
   • Nhân theo phần tử của một phép chiếu với phép chiếu thứ hai được kích hoạt
   • Cộng hai hình chiếu tuyến tính với nhau
   • Nối các đầu chú ý
   • Chia kích hoạt theo định mức của chúng
2. SwiGLU sử dụng chức năng kích hoạt nào cho nhánh cổng của nó?
   • ReLU
   • Swish (SiLU)
   • tính
   • Softmax
3. Khối chuyển tiếp nguồn cấp dữ liệu SwiGLU sử dụng bao nhiêu ma trận trọng số?
   • một
   • Hai
   • Ba
   • bốn
4. Tại sao kích thước ẩn thường được chia tỷ lệ thành khoảng 2/3 trong các lớp SwiGLU?
   • Để cải thiện độ chính xác số
   • Để làm cho mô hình sâu hơn
   • Để loại bỏ sự cần thiết phải bình thường hóa
   • Để giữ tổng các tham số và FLOP có thể so sánh được với MLP tiêu chuẩn mặc dù có thêm ma trận
5. Một đặc tính khác biệt của Swish so với ReLU là:
   • Mượt mà và không đơn điệu, cho phép âm bản nhỏ
   • Tăng nghiêm ngặt và giới hạn ở mức 1
   • Tương tự với hàm sigmoid
   • Chỉ được xác định cho đầu vào tích cực
6. Ai đã phổ biến SwiGLU cho các lớp chuyển tiếp nguồn biến áp vào năm 2020?
   • Geoffrey Hinton
   • Noam Shazeer
   • Yann LeCun
   • Andrej Karpathy
7. Trong sản phẩm SwiGLU Swish(xW) nhân với xV, điều gì xảy ra khi một giá trị cổng gần bằng 0?
   • Toàn bộ lớp Transformer bị bỏ qua
   • Phép chiếu đầu ra được thay thế bằng hàm sigmoid
   • Chiều nhánh giá trị tương ứng đóng góp rất ít vào đầu ra
   • Nhánh giá trị bị đóng băng vĩnh viễn
8. Tại sao việc giữ nguyên chiều rộng ẩn của MLP tiêu chuẩn lại có thể làm tăng chi phí của SwiGLU?
   • Cổng SiLU loại bỏ phép chiếu đầu ra
   • SwiGLU tính toán toàn bộ Hessian
   • Nhánh giá trị không có trọng số đã học
   • SwiGLU sử dụng thêm một ma trận chiếu, vì vậy thiết kế có chiều rộng tương đương sẽ có nhiều tham số và FLOP hơn