แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบการทำให้เป็นมาตรฐานแบบแบตช์

ตรวจสอบสถิติแบทช์ สเกลและการเปลี่ยนแปลง ค่าเฉลี่ยที่รันอยู่ ความไม่เสถียรของแบทช์ย่อย และความแตกต่างระหว่าง BatchNorm จาก LayerNorm

เส้นทางแนะนำที่เกี่ยวข้องการทำให้เป็นมาตรฐานแบบแบตช์
คำถาม 1 ของ 8

การทำให้เป็นมาตรฐานแบบแบตช์ทำให้เป็นมาตรฐานได้อย่างไร

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. การทำให้เป็นมาตรฐานแบบแบตช์ทำให้เป็นมาตรฐานได้อย่างไร
    • อินพุตไปยังเลเยอร์ในตัวอย่างในชุดย่อยปัจจุบัน
    • ป้ายกำกับเอาต์พุตสุดท้ายของเครือข่าย
    • ตารางอัตราการเรียนรู้ในช่วงเวลาหนึ่ง
    • ขนาดของชุดข้อมูลการฝึกอบรม
  2. เหตุใดการทำให้เป็นมาตรฐานแบบแบทช์จึงรวมพารามิเตอร์แกมม่าและเบต้าที่เรียนรู้ได้
    • เพื่อเพิ่มขนาดของชุดข้อมูล
    • เพื่อให้เครือข่ายปรับขนาดและเปลี่ยนค่าที่ทำให้เป็นมาตรฐาน โดยคงไว้ซึ่งพลังในการเป็นตัวแทน
    • เพื่อสุ่มปล่อยเซลล์ประสาทระหว่างการฝึก
    • เพื่อคำนวณฟังก์ชันการสูญเสีย
  3. ประโยชน์ในทางปฏิบัติที่อ้างถึงโดยทั่วไปของการทำให้เป็นมาตรฐานแบบแบตช์คืออะไร
    • โดยไม่จำเป็นต้องใช้ข้อมูลการฝึกอบรมใดๆ
    • รับประกันว่าโมเดลจะไม่พอดีเกินไป
    • ช่วยให้อัตราการเรียนรู้สูงขึ้นและการบรรจบกันที่เร็วขึ้นและมีเสถียรภาพมากขึ้น
    • โดยไม่จำเป็นต้องมีฟังก์ชันการเปิดใช้งานอีกต่อไป
  4. ณ เวลาอนุมาน (คาดการณ์ข้อมูลใหม่) การทำให้เป็นมาตรฐานแบบแบตช์ใช้สถิติใด
    • ค่าเฉลี่ยและความแปรปรวนของอินพุตเดี่ยวปัจจุบันเท่านั้น
    • สถิติที่สร้างแบบสุ่มในแต่ละครั้ง
    • สถิติชุดทดสอบที่คำนวณไว้ล่วงหน้า
    • ค่าเฉลี่ยและความแปรปรวนสะสมระหว่างการฝึก
  5. เหตุใดการทำให้เป็นมาตรฐานของแบทช์จึงทำงานได้ไม่ดีด้วยขนาดแบทช์ที่เล็กมาก
    • สถิติแบบแบตช์กลายเป็นการประมาณการการกระจายที่แท้จริงที่มีเสียงดังและไม่น่าเชื่อถือ
    • ชุดข้อมูลขนาดเล็กทำให้โมเดลมีขนาดใหญ่เกินกว่าจะใส่ในหน่วยความจำได้
    • มันปิดการใช้งานฟังก์ชั่นการเปิดใช้งาน
    • แบตช์ขนาดเล็กบังคับให้ใช้การทำให้เป็นมาตรฐาน L1
  6. เทคนิคการทำให้เป็นมาตรฐานแบบใดที่ใช้กันมากที่สุดในสถาปัตยกรรมหม้อแปลงไฟฟ้าเพื่อเป็นทางเลือกแทนการทำให้เป็นมาตรฐานแบบแบตช์
    • การทำให้เป็นมาตรฐานกลางคัน
    • การทำให้เป็นมาตรฐานของเลเยอร์
    • L2 การทำให้เป็นมาตรฐานของการสูญเสีย
    • การตัดแบบไล่ระดับสี
  7. Why does BatchNorm use running averages during inference instead of the current test batch’s statistics?
    • To retrain the model on test data
    • To make all activations exactly zero
    • So a prediction does not depend on which other examples happen to share the batch
    • To eliminate learned gamma and beta
  8. Where is BatchNorm commonly placed within a layer block according to the guide?
    • Only after the final prediction
    • Before the input data are loaded
    • Inside the optimizer update
    • Between the linear transformation and its activation function