แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการตัดไล่ระดับสี

ตรวจสอบการตัดเกณฑ์บรรทัดฐานและค่า, การรักษาทิศทาง, การควบคุมการระเบิดของเกรเดียนต์ และการตัดข้อมูลต่อตัวอย่างในการฝึกอบรมแบบสงวนความเป็นส่วนตัวเชิงอนุพันธ์ (differentially private training)

เส้นทางแนะนำที่เกี่ยวข้องการตัดแบบไล่ระดับสี
คำถาม 1 ของ 8

การตัดการไล่ระดับสีแบบคลิปต่อบรรทัดจะรักษาอะไรไว้เป็นหลักในขณะที่จำกัดการอัปเดต

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การตัดการไล่ระดับสีแบบคลิปต่อบรรทัดจะรักษาอะไรไว้เป็นหลักในขณะที่จำกัดการอัปเดต
    • ทิศทางการอัพเดตการไล่ระดับสีโดยรวม
    • ขนาดที่แน่นอนของการไล่ระดับสีแต่ละครั้ง
    • จำนวนพารามิเตอร์รุ่น
    • ตารางอัตราการเรียนรู้
  2. ใน clip-by-norm ที่มีเกณฑ์ c จะเกิดอะไรขึ้นเมื่อเกณฑ์การไล่ระดับสี g_norm เกิน c
    • การไล่ระดับสีถูกตั้งค่าเป็นศูนย์
    • การไล่ระดับสีแต่ละครั้งจะถูกคูณด้วย c / g_norm
    • การฝึกซ้อมหยุดลง
    • อัตราการเรียนรู้เป็นสองเท่า
  3. ปัญหาใดที่การตัดแบบไล่ระดับสีออกแบบมาเพื่อต่อสู้โดยเฉพาะ
    • การไล่ระดับสีที่หายไป
    • โหลดข้อมูลช้า
    • การไล่ระดับสีแบบระเบิด
    • เหมาะสมกับชุดการตรวจสอบความถูกต้องมากเกินไป
  4. clip-by-value แตกต่างจาก clip-by-norm อย่างไร
    • โดยจะรักษาทิศทางการอัพเดตไว้เสมอ
    • ใช้งานได้เฉพาะกับชั้น Convolutional เท่านั้น
    • มันจะลบการไล่ระดับสีทั้งหมด
    • โดยจะยึดองค์ประกอบการไล่ระดับสีแต่ละส่วนแยกกันเป็นช่วง ซึ่งสามารถเปลี่ยนทิศทางได้
  5. A minibatch produces an unusually large global gradient norm. What does clip-by-norm do before the optimizer update?
    • Scales the full gradient vector down to the configured threshold when the norm exceeds it
    • Changes the model’s labels
    • Drops every gradient component independently
    • Increases the learning rate until the loss recovers
  6. ในการฝึกแบบส่วนตัวที่แตกต่างกัน (DP-SGD) การตัดการไล่ระดับสีต่อตัวอย่างมีบทบาทอย่างไร
    • มันเข้ารหัสข้อมูล
    • มันจำกัดอิทธิพลของแต่ละตัวอย่าง ดังนั้นเสียงที่ปรับเทียบแล้วจึงรับประกันความเป็นส่วนตัวได้
    • มันเพิ่มขนาดแบทช์
    • ขจัดความจำเป็นในการใช้ฟังก์ชันการสูญเสีย
  7. The global gradient norm is twice a clipping threshold c. By what factor is the gradient scaled?
    • สอง
    • One quarter
    • One half (c divided by 2c)
    • It is left unchanged
  8. Why does DP-SGD clip each example’s gradient before adding calibrated noise?
    • To make all examples have the same label
    • To remove the need for a privacy budget
    • To increase the norm of rare-class gradients
    • To bound an individual example’s influence on the released update