แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบการลดน้ำหนักและการทำให้เป็นมาตรฐาน L2
ทดสอบบทลงโทษของ L2, การหดตัวเข้าหาศูนย์, ความเทียบเท่า SGD, การแยกส่วน AdamW, การปรับขนาดแบบปรับได้ และความแข็งแกร่งในการสลายในการฝึก
คำถาม 1 ของ 8
การทำให้เป็นมาตรฐานของ L2 เพิ่มอะไรให้กับฟังก์ชันการสูญเสีย
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- การทำให้เป็นมาตรฐานของ L2 เพิ่มอะไรให้กับฟังก์ชันการสูญเสีย
- จำนวนเลเยอร์ในเครือข่าย
- บทลงโทษเกี่ยวกับอัตราการเรียนรู้
- จำนวนตัวอย่างการฝึกอบรม
- การลงโทษตามสัดส่วนของผลรวมของน้ำหนักยกกำลังสอง
- ปัญหาหลักที่น้ำหนักลดช่วยป้องกันคืออะไร?
- โหลดข้อมูลช้า
- การติดตั้งมากเกินไป โดยที่แบบจำลองจะจดจำสัญญาณรบกวนในข้อมูลการฝึก
- ความล้มเหลวของฮาร์ดแวร์
- ป้ายกำกับไม่ถูกต้อง
- น้ำหนักที่ลดลงจะดันน้ำหนักของโมเดลไปในทิศทางใด?
- ไปสู่ความไม่มีที่สิ้นสุด
- สู่น้ำหนักที่มากที่สุด
- ไปสู่ศูนย์
- ไปสู่ค่าสุ่ม
- เหตุใดจึงมีการแนะนำ AdamW?
- เพื่อแยกการสลายตัวของน้ำหนักออกจากการอัปเดตการไล่ระดับสีแบบปรับได้ ดังนั้นการสลายตัวจะทำงานได้อย่างถูกต้อง
- เพื่อลบการไล่ระดับสีออกทั้งหมด
- เพื่อให้การฝึกช้าลงอย่างตั้งใจ
- เพื่อขจัดความจำเป็นเรื่องอัตราการเรียนรู้
- สำหรับการไล่ระดับไล่ระดับสุ่มธรรมดา การทำให้ L2 สม่ำเสมอและการสลายตัวของน้ำหนักเกี่ยวข้องกันอย่างไร
- พวกเขามักจะตรงกันข้าม
- พวกมันเทียบเท่ากันทางคณิตศาสตร์
- การสลายตัวของน้ำหนักจะปิดใช้งานการไล่ระดับสี
- L2 ใช้ได้กับ SGD ที่มีโมเมนตัมเท่านั้น
- ค่าสัมประสิทธิ์แลมบ์ดาควบคุมอะไรในการทำให้เป็นมาตรฐาน L2
- ขนาดแบทช์
- จำนวนยุค
- ฟังก์ชั่นการเปิดใช้งาน
- ความแรงของการลงโทษเมื่อมีน้ำหนักมาก
- Why can adding an L2 term to Adam’s loss differ from applying decoupled weight decay?
- Adaptive per-parameter gradient scaling can distort the coupled penalty
- Adam cannot train with any regularization
- The two methods use different training labels
- Decoupled decay removes the data loss
- In a simple decoupled update, what changes the fractional shrinkage of a weight?
- Only the number of classes
- Only the model’s input dimension
- The learning rate and decay coefficient together
- Only the validation-set size