แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
แบบทดสอบอัตราการเรียนรู้ตามวัฏจักร
ตรวจสอบรอบอัตราการเรียนรู้แบบสามเหลี่ยม การทดสอบช่วง พฤติกรรมโมเมนตัม และความแตกต่างระหว่างรอบการทำซ้ำและการฝึกซ้อมแบบรอบเดียว
คำถาม 1 ของ 8
สมมติฐานหลักใดที่ท้าทายอัตราการเรียนรู้ตามวัฏจักร
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- สมมติฐานหลักใดที่ท้าทายอัตราการเรียนรู้ตามวัฏจักร
- อัตราการเรียนรู้ควรลดลงระหว่างการฝึกเท่านั้น
- ขนาดแบตช์นั้นจะต้องคงที่
- โมเดลดังกล่าวต้องใช้ GPU
- ข้อมูลนั้นจะต้องสับเปลี่ยน
- Smith รายงานเกี่ยวกับอัตราการเรียนรู้แบบวนรอบ (cyclical learning rates) สำหรับงานการจำแนกประเภทที่ทดสอบไว้อย่างไร
- พวกมันลดการสูญเสียในการฝึก (training loss) ให้เป็นศูนย์เสมอ
- พวกมันปรับปรุงความแม่นยำเมื่อเทียบกับอัตราคงที่ ซึ่งมักใช้จำนวนรอบการทำงานน้อยกว่า
- พวกมันกำจัดความจำเป็นในการใช้ข้อมูลการตรวจสอบความถูกต้อง (validation data)
- พวกมันรับประกันว่าจะหลุดพ้นจากจุดต่ำสุดที่ชัน (sharp minimum) ทุกจุด
- 'การทดสอบช่วง LR' ทำหน้าที่อะไร
- วัดการใช้หน่วยความจำ GPU
- นับจำนวนพารามิเตอร์โมเดล
- กวาดอัตราการเรียนรู้ขึ้นในขณะที่เฝ้าดูการสูญเสียเพื่อเลือกขอบเขตที่ดี
- ทดสอบแบบจำลองกับข้อมูลที่ไม่กระจาย
- ในนโยบายแบบรอบเดียว โดยทั่วไปโมเมนตัมจะมีพฤติกรรมอย่างไรเมื่อเทียบกับอัตราการเรียนรู้
- โมเมนตัมคงที่ตลอด
- โมเมนตัมถูกกำหนดให้เป็นศูนย์ตลอดเวลา
- โมเมนตัมจะเพิ่มขึ้นตามอัตราอย่างแน่นอน
- โมเมนตัมเคลื่อนที่ผกผัน — สูงเมื่ออัตราต่ำและต่ำเมื่อมีอัตราสูง
- ในระหว่างรอบอัตราการเรียนรู้แบบวนรอบรูปสามเหลี่ยม อัตราจะเคลื่อนไหวอย่างไรระหว่างขอบเขตของมัน
- มันเพิ่มขึ้นจากอัตราฐานไปยังค่าสูงสุด จากนั้นจึงลดลงกลับไปทางอัตราฐาน
- มันลดลงจากขั้นตอนแรกเท่านั้น
- มันคงที่อยู่ที่ค่าสูงสุด
- มันกระโดดแบบสุ่มในทุกๆ มินิบัทช์ (minibatch)
- ใครเป็นผู้แนะนำอัตราการเรียนรู้แบบวัฏจักรและการทดสอบช่วง LR
- เจฟฟรีย์ ฮินตัน
- เลสลี่ สมิธ
- ยานน์ เลอคุน
- อันเดรจ คาร์ปาธี
- สิ่งใดเป็นตัวกำหนดระยะเวลาของรอบอัตราการเรียนรู้แบบวนรอบ
- จำนวนเลเยอร์ของโมเดล
- ขนาดคำศัพท์
- จำนวนรอบการฝึก (training iterations) ที่เลือกไว้สำหรับรูปแบบขึ้นและลง
- จำนวนพารามิเตอร์ของตัวปรับแต่งค่า (optimizer)
- สิ่งใดที่ทำให้ นโยบายวงรอบเดียว (one-cycle policy) แตกต่างจากการทำรอบรูปสามเหลี่ยมซ้ำหลายๆ รอบ
- มันทำให้อัตราการเรียนรู้คงที่ตลอดเวลา
- มันถอดโมเมนตัมของตัวปรับแต่งค่าออก
- มันวัดอัตราการเรียนรู้เพียงครั้งเดียว
- มันใช้อัตราการเรียนรู้วงรอบยาวหนึ่งรอบสำหรับการฝึก