Bài kiểm tra chuẩn hóa hàng loạt

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Chuẩn hóa hàng loạt bình thường hóa những gì?
   • Đầu vào của một lớp, trên các ví dụ trong lô nhỏ hiện tại
   • Nhãn đầu ra cuối cùng của mạng
   • Biểu đồ tốc độ học tập theo thời gian
   • Kích thước của tập dữ liệu huấn luyện
2. Tại sao chuẩn hóa hàng loạt bao gồm các tham số có thể học được gamma và beta?
   • Để tăng kích thước của tập dữ liệu
   • Để cho phép mạng mở rộng quy mô và thay đổi các giá trị được chuẩn hóa, duy trì sức mạnh biểu diễn
   • Để thả ngẫu nhiên các nơ-ron trong quá trình huấn luyện
   • Để tính hàm mất mát
3. Lợi ích thực tế thường được trích dẫn của việc chuẩn hóa hàng loạt là gì?
   • Nó loại bỏ sự cần thiết của bất kỳ dữ liệu đào tạo nào
   • Nó đảm bảo mô hình không thể phù hợp quá mức
   • Nó cho phép tốc độ học cao hơn và hội tụ nhanh hơn, ổn định hơn
   • Nó loại bỏ sự cần thiết của chức năng kích hoạt
4. Tại thời điểm suy luận (dự đoán trên dữ liệu mới), quá trình chuẩn hóa hàng loạt sử dụng số liệu thống kê nào?
   • Giá trị trung bình và phương sai của chỉ một đầu vào hiện tại
   • Số liệu thống kê được tạo ngẫu nhiên mỗi lần
   • Số liệu thống kê của tập kiểm tra được tính toán trước
   • Chạy trung bình của giá trị trung bình và phương sai được tích lũy trong quá trình đào tạo
5. Tại sao chuẩn hóa hàng loạt có thể hoạt động kém với kích thước lô rất nhỏ?
   • Thống kê hàng loạt trở nên ồn ào và ước tính không đáng tin cậy về phân phối thực sự
   • Các lô nhỏ làm cho mô hình quá lớn để vừa với bộ nhớ
   • Nó vô hiệu hóa các chức năng kích hoạt
   • Các lô nhỏ buộc phải sử dụng chính quy L1
6. Kỹ thuật chuẩn hóa nào được sử dụng phổ biến nhất trong kiến trúc máy biến áp để thay thế cho chuẩn hóa hàng loạt?
   • Bình thường hóa bỏ học
   • Chuẩn hóa lớp
   • Bình thường hóa tổn thất L2
   • Cắt bớt độ dốc
7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
   • To retrain the model on test data
   • To make all activations exactly zero
   • So a prediction does not depend on which other examples happen to share the batch
   • To eliminate learned gamma and beta
8. Where is BatchNorm commonly placed within a layer block according to the guide?
   • Only after the final prediction
   • Before the input data are loaded
   • Inside the optimizer update
   • Between the linear transformation and its activation function