แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบอัตราการเรียนรู้ตามวัฏจักร

ตรวจสอบรอบอัตราการเรียนรู้แบบสามเหลี่ยม การทดสอบช่วง พฤติกรรมโมเมนตัม และความแตกต่างระหว่างรอบการทำซ้ำและการฝึกซ้อมแบบรอบเดียว

เส้นทางแนะนำที่เกี่ยวข้องอัตราการเรียนรู้แบบวัฏจักร
คำถาม 1 ของ 8

สมมติฐานหลักใดที่ท้าทายอัตราการเรียนรู้ตามวัฏจักร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. สมมติฐานหลักใดที่ท้าทายอัตราการเรียนรู้ตามวัฏจักร
    • อัตราการเรียนรู้ควรลดลงระหว่างการฝึกเท่านั้น
    • ขนาดแบตช์นั้นจะต้องคงที่
    • โมเดลดังกล่าวต้องใช้ GPU
    • ข้อมูลนั้นจะต้องสับเปลี่ยน
  2. Smith รายงานเกี่ยวกับอัตราการเรียนรู้แบบวนรอบ (cyclical learning rates) สำหรับงานการจำแนกประเภทที่ทดสอบไว้อย่างไร
    • พวกมันลดการสูญเสียในการฝึก (training loss) ให้เป็นศูนย์เสมอ
    • พวกมันปรับปรุงความแม่นยำเมื่อเทียบกับอัตราคงที่ ซึ่งมักใช้จำนวนรอบการทำงานน้อยกว่า
    • พวกมันกำจัดความจำเป็นในการใช้ข้อมูลการตรวจสอบความถูกต้อง (validation data)
    • พวกมันรับประกันว่าจะหลุดพ้นจากจุดต่ำสุดที่ชัน (sharp minimum) ทุกจุด
  3. 'การทดสอบช่วง LR' ทำหน้าที่อะไร
    • วัดการใช้หน่วยความจำ GPU
    • นับจำนวนพารามิเตอร์โมเดล
    • กวาดอัตราการเรียนรู้ขึ้นในขณะที่เฝ้าดูการสูญเสียเพื่อเลือกขอบเขตที่ดี
    • ทดสอบแบบจำลองกับข้อมูลที่ไม่กระจาย
  4. ในนโยบายแบบรอบเดียว โดยทั่วไปโมเมนตัมจะมีพฤติกรรมอย่างไรเมื่อเทียบกับอัตราการเรียนรู้
    • โมเมนตัมคงที่ตลอด
    • โมเมนตัมถูกกำหนดให้เป็นศูนย์ตลอดเวลา
    • โมเมนตัมจะเพิ่มขึ้นตามอัตราอย่างแน่นอน
    • โมเมนตัมเคลื่อนที่ผกผัน — สูงเมื่ออัตราต่ำและต่ำเมื่อมีอัตราสูง
  5. ในระหว่างรอบอัตราการเรียนรู้แบบวนรอบรูปสามเหลี่ยม อัตราจะเคลื่อนไหวอย่างไรระหว่างขอบเขตของมัน
    • มันเพิ่มขึ้นจากอัตราฐานไปยังค่าสูงสุด จากนั้นจึงลดลงกลับไปทางอัตราฐาน
    • มันลดลงจากขั้นตอนแรกเท่านั้น
    • มันคงที่อยู่ที่ค่าสูงสุด
    • มันกระโดดแบบสุ่มในทุกๆ มินิบัทช์ (minibatch)
  6. ใครเป็นผู้แนะนำอัตราการเรียนรู้แบบวัฏจักรและการทดสอบช่วง LR
    • เจฟฟรีย์ ฮินตัน
    • เลสลี่ สมิธ
    • ยานน์ เลอคุน
    • อันเดรจ คาร์ปาธี
  7. สิ่งใดเป็นตัวกำหนดระยะเวลาของรอบอัตราการเรียนรู้แบบวนรอบ
    • จำนวนเลเยอร์ของโมเดล
    • ขนาดคำศัพท์
    • จำนวนรอบการฝึก (training iterations) ที่เลือกไว้สำหรับรูปแบบขึ้นและลง
    • จำนวนพารามิเตอร์ของตัวปรับแต่งค่า (optimizer)
  8. สิ่งใดที่ทำให้ นโยบายวงรอบเดียว (one-cycle policy) แตกต่างจากการทำรอบรูปสามเหลี่ยมซ้ำหลายๆ รอบ
    • มันทำให้อัตราการเรียนรู้คงที่ตลอดเวลา
    • มันถอดโมเมนตัมของตัวปรับแต่งค่าออก
    • มันวัดอัตราการเรียนรู้เพียงครั้งเดียว
    • มันใช้อัตราการเรียนรู้วงรอบยาวหนึ่งรอบสำหรับการฝึก