Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra cắt dải màu
Kiểm tra việc cắt định mức và giá trị, bảo toàn hướng, kiểm soát độ dốc bùng nổ và cắt theo từng ví dụ trong đào tạo riêng tư khác nhau.
Câu hỏi 1 của 8
Việc cắt độ dốc theo clip theo định mức chủ yếu bảo vệ điều gì trong khi hạn chế cập nhật?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Việc cắt độ dốc theo clip theo định mức chủ yếu bảo vệ điều gì trong khi hạn chế cập nhật?
- Hướng cập nhật độ dốc tổng thể
- Độ lớn chính xác của mỗi gradient
- Số lượng tham số mô hình
- Bảng tỷ lệ học tập
- Trong clip-by-norm có ngưỡng c, điều gì xảy ra khi định mức độ dốc g_norm vượt quá c?
- Độ dốc được đặt thành 0
- Mỗi gradient được nhân với c/g_norm
- Điểm dừng đào tạo
- Tốc độ học tăng gấp đôi
- Việc cắt độ dốc được thiết kế đặc biệt để giải quyết vấn đề nào?
- Độ dốc biến mất
- Tải dữ liệu chậm
- Độ dốc bùng nổ
- Trang bị quá mức cho bộ xác thực
- Clip-by-value khác với clip-by-norm như thế nào?
- Nó luôn bảo toàn hướng cập nhật
- Nó chỉ hoạt động trên các lớp chập
- Nó loại bỏ hoàn toàn độ dốc
- Nó kẹp từng thành phần gradient độc lập vào một phạm vi, có thể thay đổi hướng
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- Trong đào tạo riêng tư khác nhau (DP-SGD), việc cắt độ dốc trên mỗi ví dụ đóng vai trò gì?
- Nó mã hóa dữ liệu
- Nó giới hạn ảnh hưởng của từng mẫu để tiếng ồn được hiệu chỉnh có thể đảm bảo quyền riêng tư
- Nó làm tăng kích thước lô
- Nó loại bỏ sự cần thiết của một chức năng mất mát
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- Hai
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update