Câu đố về trung bình trọng số ngẫu nhiên

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

1. Trung bình trọng lượng ngẫu nhiên thực sự trung bình là bao nhiêu?
   • Trọng số của mô hình được lấy mẫu tại nhiều điểm muộn trong quá trình đào tạo
   • Dự đoán của một số mô hình được đào tạo riêng biệt
   • Độ dốc được tính toán trên tất cả các lô nhỏ
   • Tỷ lệ học tập được sử dụng trong mỗi kỷ nguyên
2. Tại sao SWA có xu hướng cải thiện tính khái quát hóa?
   • Nó ghi nhớ tập huấn luyện chính xác hơn
   • Nó tìm thấy các cực tiểu rộng hơn, phẳng hơn, mạnh mẽ hơn trên dữ liệu không nhìn thấy được
   • Nó làm tăng số lượng tham số trong mô hình
   • Nó loại bỏ sự cần thiết của một bộ xác nhận
3. SWA yêu cầu thêm bước nào đối với các mạng sử dụng chuẩn hóa hàng loạt?
   • Đào tạo lại mạng từ đầu
   • Nhân đôi kích thước lô
   • Một đường chuyển tiếp bổ sung để tính toán lại số liệu thống kê đang chạy của BN
   • Loại bỏ tất cả các lớp bỏ học
4. Hành vi tốc độ học tập nào thường được sử dụng trong giai đoạn lấy trung bình SWA?
   • Tỷ lệ học tập giảm dần về chính xác bằng 0
   • Tỷ lệ học tập của một cho sự ổn định
   • Không có tốc độ học tập nào vì quá trình đào tạo bị đóng băng
   • Tốc độ học tập tương đối cao hoặc liên tục hoặc theo chu kỳ
5. Chi phí suy luận của SWA so với tập hợp N mô hình truyền thống như thế nào?
   • Nó có giá khoảng một mô hình duy nhất, vì kết quả là một bộ trọng số
   • Nó đắt gấp N lần
   • Nó giống hệt với việc chạy N mô hình
   • Nó không thể được sử dụng để suy luận
6. Why does the batch-normalization adjustment belong after SWA weight averaging?
   • The averaging step deletes every convolution
   • Its running statistics must be recomputed for the averaged weights
   • It converts batch normalization into layer normalization
   • It restores the original optimizer learning rate
7. An SWA running mean combines n previous samples with a new weight vector w_i. Which update gives equal weight to all n+1 samples?
   • w_SWA + n · w_i
   • (w_SWA + w_i) divided by n
   • (n · w_SWA + w_i) divided by (n + 1)
   • n · (w_SWA − w_i)
8. Why is SWA commonly started during the later part of training?
   • It requires the model to remain at random initialization
   • It can only average models with different architectures
   • It replaces the training data with validation examples
   • It averages nearby useful checkpoints from a trajectory after the model has made substantial progress