Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra chuẩn hóa lớp
Kiểm tra số liệu thống kê của LayerNorm và các tham số affine, hành vi kích thước lô của nó, epsilon, RMSNorm và vị trí định mức trước. trong các mạng sâu.
Câu hỏi 1 của 8
Quá trình chuẩn hóa lớp tính toán giá trị trung bình và phương sai của nó là gì?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Quá trình chuẩn hóa lớp tính toán giá trị trung bình và phương sai của nó là gì?
- Trên các tính năng của một ví dụ duy nhất
- Trên tất cả các ví dụ trong lô nhỏ
- Trên tất cả các trọng số trong mạng
- Qua nhiều kỷ nguyên đào tạo
- Tại sao chuẩn hóa lớp được ưu tiên hơn chuẩn hóa lô trong máy biến áp?
- Nó đòi hỏi kích thước lô rất lớn
- Nó độc lập với kích thước lô và xử lý các chuỗi có độ dài thay đổi
- Nó loại bỏ sự cần thiết của bất kỳ tham số có thể học được nào
- Nó chỉ hoạt động trong quá trình suy luận
- Các thông số có thể học được gamma và beta cho phép LayerNorm làm gì?
- Chọn tốc độ học tập
- Đặt số lớp
- Định lại tỷ lệ và thay đổi đầu ra đã chuẩn hóa để mạng có thể khôi phục các biểu diễn hữu ích
- Loại bỏ sự cần thiết của chức năng kích hoạt
- RMSNorm khác với LayerNorm tiêu chuẩn như thế nào?
- Thay vào đó, nó bình thường hóa theo lô
- Nó không sử dụng tham số và không phân chia
- Nó chỉ hoạt động trên hình ảnh
- Nó bỏ qua phép trừ trung bình và chỉ chia cho bình phương gốc
- Vấn đề gì mà việc chuẩn hóa lớp chủ yếu giúp giải quyết trong các mạng sâu?
- Kích hoạt trôi dạt đến các quy mô rất khác nhau, làm mất ổn định quá trình đào tạo
- Hết dung lượng đĩa
- Chọn đúng tập dữ liệu
- Mã hóa trọng số mô hình
- Tại sao vị trí 'chuẩn trước' thường được sử dụng trong các máy biến áp rất sâu?
- Nó làm cho mô hình nhỏ hơn
- Chuẩn hóa trước mỗi lớp con giúp việc huấn luyện các ngăn xếp sâu trở nên dễ dàng và ổn định hơn
- Nó loại bỏ cơ chế chú ý
- Nó tự động tăng gấp đôi tốc độ học tập
- Why is a small epsilon added to LayerNorm’s variance before taking its square root?
- To make the batch size larger
- To replace the learnable scale
- To avoid division by zero and improve numerical stability
- To compute the sequence length
- If gamma is all ones and beta is all zeros, what does LayerNorm’s affine stage do?
- It restores the original unnormalized inputs exactly
- It applies a softmax over features
- It changes the statistics to be batch-dependent
- It leaves the normalized values unchanged after the mean-and-variance scaling