แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบปรากฏการณ์ Double Descent

ตรวจสอบการสืบค้นแบบ double descent เมื่อใกล้จะประมาณค่า และดูว่าปรากฏการณ์จะแตกต่างกันไปตามขนาดโมเดล ขนาดชุดข้อมูล และระยะเวลาการฝึกอย่างไร

เส้นทางแนะนำที่เกี่ยวข้องปรากฏการณ์ดับเบิ้ลเดสท์
คำถาม 1 ของ 8

โดยทั่วไปแล้วข้อผิดพลาดในการทดสอบจะถึงจุดสูงสุดที่ใดในเส้นโค้ง Double Descent

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. โดยทั่วไปแล้วข้อผิดพลาดในการทดสอบจะถึงจุดสูงสุดที่ใดในเส้นโค้ง Double Descent
    • ที่เกณฑ์การแก้ไขซึ่งแบบจำลองเหมาะสมกับข้อมูลการฝึกทั้งหมด
    • ในช่วงเริ่มต้นของการฝึกโดยมีพารามิเตอร์น้อย
    • หลังจากพารามิเตอร์นับพันล้านเท่านั้น
    • ข้อผิดพลาดในการทดสอบไม่เคยถึงจุดสูงสุด มันตกอย่างน่าเบื่อหน่าย
  2. จะเกิดอะไรขึ้นกับข้อผิดพลาดในการทดสอบเมื่อแบบจำลองมีพารามิเตอร์มากเกินไปอย่างมาก
    • มันเพิ่มขึ้นอย่างไม่มีกำหนดเนื่องจากการฟิตติ้งมากเกินไป
    • มันสามารถลดลงได้อีกครั้ง ซึ่งมักจะต่ำกว่าค่าต่ำสุดแบบคลาสสิก
    • มันคงแบนแน่ๆ
    • มันกลายเป็นเรื่องบังเอิญและคาดเดาไม่ได้
  3. In which setting does the cited implicit-bias analysis characterize a minimum-norm solution?
    • Any neural network trained with gradient descent
    • Any model that reaches zero training error
    • A single-hidden-layer linear network under stated gradient-flow and initialization assumptions
    • A model trained without an optimization objective
  4. การสืบเชื้อสายสองครั้งแบบ 'ยุคฉลาด' หมายถึงผลกระทบที่ปรากฏเป็นฟังก์ชันของอะไร?
    • จำนวน GPU ที่ใช้
    • ตารางอัตราการเรียนรู้เท่านั้น
    • ขนาดของชุดทดสอบ
    • ระยะเวลาอบรม (จำนวนยุค)
  5. แนวคิดคลาสสิกใดที่ท้าทายการสืบเชื้อสายสองเท่า
    • การแลกเปลี่ยนรูปตัว U ของความแปรปรวนอคติ
    • การขยายพันธุ์กลับ
    • โคตรลาดสุ่ม
    • กฎลูกโซ่
  6. ใครช่วยเผยแพร่และสร้างเส้นโค้งคู่ในปี 2562 อย่างเป็นทางการ?
    • นิวตันและไลบ์นิซ
    • เบลคิน ซู มา และมันดาล
    • ทัวริงและโบสถ์
    • เฉพาะคู่แข่ง Kaggle ที่ไม่ระบุชื่อเท่านั้น
  7. Which model families did OpenAI report studying in its deep double-descent experiments?
    • Only decision trees and linear regression
    • Only recurrent speech recognizers
    • Convolutional neural networks, ResNets, and transformers
    • Only graphical game generators
  8. Besides model size and training duration, which axis can also show double-descent behavior?
    • Font size in a report
    • The number of words in a product name
    • The screen resolution of a monitor
    • Training dataset size