Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra khởi tạo trọng lượng

Kiểm tra sự phá vỡ đối xứng, chia tỷ lệ quạt vào và quạt ra, khởi tạo Xavier và He, bù ReLU và độ lệch bằng 0. trong các mô hình sâu.

Đường dẫn hướng dẫn liên quanKhởi tạo trọng lượng
Câu hỏi 1 của 8

Tại sao việc khởi tạo tất cả các trọng số về 0 lại là một sai lầm nghiêm trọng?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Tại sao việc khởi tạo tất cả các trọng số về 0 lại là một sai lầm nghiêm trọng?
    • Tất cả các tế bào thần kinh đều nhận được độ dốc giống hệt nhau và không bao giờ phân biệt (tính đối xứng không bị phá vỡ)
    • Nó làm cho việc đào tạo quá nhanh
    • Nó làm cho tổn thất trở thành âm
    • Nó sử dụng quá nhiều bộ nhớ
  2. Việc khởi tạo của Anh ấy (Kaiming) được thiết kế đặc biệt cho chức năng kích hoạt nào?
    • sigmoid
    • ReLU
    • tính
    • Softmax
  3. Mục tiêu chính của các chương trình khởi tạo trọng lượng theo nguyên tắc là gì?
    • Để làm cho tất cả trọng lượng bằng nhau
    • Để đặt mỗi trọng lượng thành một
    • Để giữ cho phương sai của kích hoạt và độ dốc gần như không đổi giữa các lớp
    • Để loại bỏ sự cần thiết của dữ liệu
  4. Khởi tạo Xavier (Glorot) phù hợp nhất cho các mạng sử dụng kích hoạt nào?
    • ReLU và các biến thể của nó
    • Chỉ kích hoạt tuyến tính
    • Không có kích hoạt nào cả
    • Tính và sigmoid
  5. Tại sao quá trình khởi tạo He sử dụng phương sai 2 / fan_in thay vì 1 / fan_in?
    • Để bù đắp cho việc cài đặt ReLU, khoảng một nửa số đầu vào của nó về 0
    • Để làm cho trọng lượng lớn hơn mà không có lý do
    • Để giảm số lượng tham số
    • Để phù hợp với kích thước lô
  6. Độ lệch thường được khởi tạo như thế nào khi trọng số được khởi tạo ngẫu nhiên?
    • Đến giá trị dương rất lớn
    • Về 0, vì tính đối xứng đã bị phá vỡ bởi các trọng số ngẫu nhiên
    • Có cùng giá trị với tốc độ học tập
    • Đối với các giá trị ngẫu nhiên lớn hơn trọng số
  7. Under Xavier initialization, which quantities determine the weight variance in the guide’s formula?
    • The number of training epochs and batch size
    • The output class count alone
    • Fan-in and fan-out
    • The activation’s test accuracy
  8. For a ReLU layer with fan-in 64, what variance does the He formula 2/fan_in specify?
    • 1/64
    • 1/16
    • 2/64 squared
    • 1/32