Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra về độ biến mất và bùng nổ

Kiểm tra các sản phẩm gradient quy tắc chuỗi, độ bão hòa, độ dài chuỗi lặp lại, các đường dư và giới hạn của phương pháp phỏng đoán bán kính quang phổ.

Đường dẫn hướng dẫn liên quanĐộ dốc biến mất và bùng nổ
Câu hỏi 1 của 8

Phép toán nào trong lan truyền ngược là nguyên nhân sâu xa của sự biến mất và bùng nổ độ dốc?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Phép toán nào trong lan truyền ngược là nguyên nhân sâu xa của sự biến mất và bùng nổ độ dốc?
    • Nhân nhiều lần các yếu tố trên mỗi lớp thông qua quy tắc chuỗi
    • Thêm độ dốc trên một lớp duy nhất
    • Chia tổn thất cho kích thước lô
    • Lấy căn bậc hai của trọng số
  2. Why can sigmoid or tanh units contribute to vanishing gradients when they are saturated?
    • Their derivatives are always larger than one
    • Their derivatives become small in saturated regions, so repeated chain-rule products can shrink
    • They remove the chain rule from backpropagation
    • They force every weight to zero
  3. Kiến trúc nào bị ảnh hưởng nặng nề nhất bởi các vấn đề về độ dốc trên các chuỗi dài?
    • Perceptron hai lớp
    • Hồi quy tuyến tính đơn
    • Mạng lưới thần kinh tái phát được trải ra qua nhiều dấu thời gian
    • Một bảng tra cứu
  4. Nhìn thấy việc đào tạo đột nhiên biến thành NaN rất có thể chỉ ra vấn đề gì?
    • Độ dốc biến mất
    • Sự hội tụ hoàn hảo
    • Tốc độ học tập quá nhỏ
    • Độ dốc bùng nổ
  5. Làm thế nào để các kết nối còn lại (bỏ qua) giúp giảm độ dốc?
    • Chúng cung cấp cho gradient một đường dẫn tắt trực tiếp về phía sau, bỏ qua các phép nhân thu nhỏ
    • Họ loại bỏ tất cả các phi tuyến
    • Họ tự động tăng tốc độ học tập
    • Họ xóa các lớp đầu
  6. In a simplified analysis of a recurrent linear transformation repeated over many steps, what matrix quantity is a rough signal of growth versus decay?
    • The matrix trace relative to the batch size
    • The spectral radius relative to one
    • The number of hidden units alone
    • The determinant relative to the learning rate
  7. A backpropagated gradient is multiplied by a factor below one at each of many layers. What trend should you expect?
    • It must become exactly one
    • It grows exponentially regardless of the factor
    • The signal can shrink exponentially with depth
    • It stops depending on earlier layers after one step
  8. Why can a recurrent network be especially vulnerable over a long sequence?
    • The network has no hidden state
    • The output layer is used only once
    • The sequence is processed without a chain rule
    • The recurrent transformation is applied repeatedly across timesteps, compounding its gradient effect