แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการตัดไล่ระดับสี
ตรวจสอบการตัดเกณฑ์บรรทัดฐานและค่า, การรักษาทิศทาง, การควบคุมการระเบิดของเกรเดียนต์ และการตัดข้อมูลต่อตัวอย่างในการฝึกอบรมแบบสงวนความเป็นส่วนตัวเชิงอนุพันธ์ (differentially private training)
คำถาม 1 ของ 8
การตัดการไล่ระดับสีแบบคลิปต่อบรรทัดจะรักษาอะไรไว้เป็นหลักในขณะที่จำกัดการอัปเดต
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การตัดการไล่ระดับสีแบบคลิปต่อบรรทัดจะรักษาอะไรไว้เป็นหลักในขณะที่จำกัดการอัปเดต
- ทิศทางการอัพเดตการไล่ระดับสีโดยรวม
- ขนาดที่แน่นอนของการไล่ระดับสีแต่ละครั้ง
- จำนวนพารามิเตอร์รุ่น
- ตารางอัตราการเรียนรู้
- ใน clip-by-norm ที่มีเกณฑ์ c จะเกิดอะไรขึ้นเมื่อเกณฑ์การไล่ระดับสี g_norm เกิน c
- การไล่ระดับสีถูกตั้งค่าเป็นศูนย์
- การไล่ระดับสีแต่ละครั้งจะถูกคูณด้วย c / g_norm
- การฝึกซ้อมหยุดลง
- อัตราการเรียนรู้เป็นสองเท่า
- ปัญหาใดที่การตัดแบบไล่ระดับสีออกแบบมาเพื่อต่อสู้โดยเฉพาะ
- การไล่ระดับสีที่หายไป
- โหลดข้อมูลช้า
- การไล่ระดับสีแบบระเบิด
- เหมาะสมกับชุดการตรวจสอบความถูกต้องมากเกินไป
- clip-by-value แตกต่างจาก clip-by-norm อย่างไร
- โดยจะรักษาทิศทางการอัพเดตไว้เสมอ
- ใช้งานได้เฉพาะกับชั้น Convolutional เท่านั้น
- มันจะลบการไล่ระดับสีทั้งหมด
- โดยจะยึดองค์ประกอบการไล่ระดับสีแต่ละส่วนแยกกันเป็นช่วง ซึ่งสามารถเปลี่ยนทิศทางได้
- A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
- Scales the full gradient vector down to the configured threshold when the norm exceeds it
- Changes the model’s labels
- Drops every gradient component independently
- Increases the learning rate until the loss recovers
- ในการฝึกแบบส่วนตัวที่แตกต่างกัน (DP-SGD) การตัดการไล่ระดับสีต่อตัวอย่างมีบทบาทอย่างไร
- มันเข้ารหัสข้อมูล
- มันจำกัดอิทธิพลของแต่ละตัวอย่าง ดังนั้นเสียงที่ปรับเทียบแล้วจึงรับประกันความเป็นส่วนตัวได้
- มันเพิ่มขนาดแบทช์
- ขจัดความจำเป็นในการใช้ฟังก์ชันการสูญเสีย
- The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
- สอง
- One quarter
- One half (c divided by 2c)
- It is left unchanged
- Why does DP-SGD clip each example’s gradient before adding calibrated noise?
- To make all examples have the same label
- To remove the need for a privacy budget
- To increase the norm of rare-class gradients
- To bound an individual example’s influence on the released update