แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการลดน้ำหนักและการทำให้เป็นมาตรฐาน L2

ทดสอบบทลงโทษของ L2, การหดตัวเข้าหาศูนย์, ความเทียบเท่า SGD, การแยกส่วน AdamW, การปรับขนาดแบบปรับได้ และความแข็งแกร่งในการสลายในการฝึก

คำถาม 1 ของ 8

การทำให้เป็นมาตรฐานของ L2 เพิ่มอะไรให้กับฟังก์ชันการสูญเสีย

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การทำให้เป็นมาตรฐานของ L2 เพิ่มอะไรให้กับฟังก์ชันการสูญเสีย
    • จำนวนเลเยอร์ในเครือข่าย
    • บทลงโทษเกี่ยวกับอัตราการเรียนรู้
    • จำนวนตัวอย่างการฝึกอบรม
    • การลงโทษตามสัดส่วนของผลรวมของน้ำหนักยกกำลังสอง
  2. ปัญหาหลักที่น้ำหนักลดช่วยป้องกันคืออะไร?
    • โหลดข้อมูลช้า
    • การติดตั้งมากเกินไป โดยที่แบบจำลองจะจดจำสัญญาณรบกวนในข้อมูลการฝึก
    • ความล้มเหลวของฮาร์ดแวร์
    • ป้ายกำกับไม่ถูกต้อง
  3. น้ำหนักที่ลดลงจะดันน้ำหนักของโมเดลไปในทิศทางใด?
    • ไปสู่ความไม่มีที่สิ้นสุด
    • สู่น้ำหนักที่มากที่สุด
    • ไปสู่ศูนย์
    • ไปสู่ค่าสุ่ม
  4. เหตุใดจึงมีการแนะนำ AdamW?
    • เพื่อแยกการสลายตัวของน้ำหนักออกจากการอัปเดตการไล่ระดับสีแบบปรับได้ ดังนั้นการสลายตัวจะทำงานได้อย่างถูกต้อง
    • เพื่อลบการไล่ระดับสีออกทั้งหมด
    • เพื่อให้การฝึกช้าลงอย่างตั้งใจ
    • เพื่อขจัดความจำเป็นเรื่องอัตราการเรียนรู้
  5. สำหรับการไล่ระดับไล่ระดับสุ่มธรรมดา การทำให้ L2 สม่ำเสมอและการสลายตัวของน้ำหนักเกี่ยวข้องกันอย่างไร
    • พวกเขามักจะตรงกันข้าม
    • พวกมันเทียบเท่ากันทางคณิตศาสตร์
    • การสลายตัวของน้ำหนักจะปิดใช้งานการไล่ระดับสี
    • L2 ใช้ได้กับ SGD ที่มีโมเมนตัมเท่านั้น
  6. ค่าสัมประสิทธิ์แลมบ์ดาควบคุมอะไรในการทำให้เป็นมาตรฐาน L2
    • ขนาดแบทช์
    • จำนวนยุค
    • ฟังก์ชั่นการเปิดใช้งาน
    • ความแรงของการลงโทษเมื่อมีน้ำหนักมาก
  7. Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
    • Adaptive per-parameter gradient scaling can distort the coupled penalty
    • Adam cannot train with any regularization
    • The two methods use different training labels
    • Decoupled decay removes the data loss
  8. In a simple decoupled update, what changes the fractional shrinkage of a weight?
    • Only the number of classes
    • Only the model’s input dimension
    • The learning rate and decay coefficient together
    • Only the validation-set size