แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการกลั่นความรู้

ใช้การแจกแจงของครู เป้าหมายแบบอ่อนตัว และการประเมินนักเรียนในการกลั่น รวมถึงเหตุใดการเลียนแบบจึงไม่รับประกันความแม่นยำระดับครู

เส้นทางแนะนำที่เกี่ยวข้องการกลั่นกรองความรู้
คำถาม 1 ของ 8

ในการกลั่นกรองความรู้ นักเรียนตัวอย่างถูกฝึกให้ทำอะไร?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ในการกลั่นกรองความรู้ นักเรียนตัวอย่างถูกฝึกให้ทำอะไร?
    • เพื่อฝึกนักเรียนรุ่นเล็กให้เลียนแบบครูรุ่นใหญ่
    • เพื่อให้แบบจำลองมีขนาดใหญ่และแม่นยำยิ่งขึ้น
    • เพื่อติดป้ายกำกับข้อมูลโดยอัตโนมัติ
    • เพื่อเข้ารหัสน้ำหนักของโมเดล
  2. 'ความรู้ด้านมืด' ของครูหมายถึงอะไร?
    • พฤติกรรมที่เป็นอันตรายที่ซ่อนอยู่ในโมเดล
    • ส่วนที่เข้ารหัสของไฟล์โมเดล
    • ข้อมูลความน่าจะเป็นสัมพัทธ์ที่ครูกำหนดให้ชั้นเรียนผิด
    • ข้อมูลที่ครูไม่เคยได้รับการฝึกอบรม
  3. อุณหภูมิ (T) มีบทบาทอย่างไรในการกลั่น?
    • โดยจะควบคุมความเร็วการฝึกของโมเดลเท่านั้น
    • มันทำให้ซอฟต์แม็กซ์อ่อนลง ดังนั้นความคล้ายคลึงระหว่างคลาสเล็กๆ น้อยๆ จึงสามารถเรียนรู้ได้
    • มันกำหนดจำนวนชั้นในนักเรียน
    • วัดความร้อนที่ปล่อยออกมาของ GPU
  4. การสูญเสียจากการกลั่นแบบคลาสสิกผสมผสานองค์ประกอบสองประการเข้าด้วยกัน
    • โมเดลรางวัลสองแบบแยกกัน
    • ค่าคลาดเคลื่อนกำลังสองเฉลี่ยและการสูญเสียบานพับ
    • การลงโทษ KL ต่อนโยบายอ้างอิงและฟังก์ชันค่า
    • คำศัพท์ KL-divergence ที่ตรงกับผลลัพธ์แบบ soft ของครู บวกกับ cross-entropy บนป้ายกำกับที่แท้จริง
  5. ข้อใดคือตัวอย่างแบบจำลองภาษากลั่น
    • เรสเน็ต-50
    • Word2Vec
    • ดิสทิลเบิร์ต
    • อเล็กซ์เน็ต
  6. การกลั่นตามคุณลักษณะแตกต่างจากวิธีการกลั่นตามผลผลิตแบบคลาสสิกอย่างไร
    • มันจับคู่การแสดงเลเยอร์ที่ซ่อนอยู่ระดับกลาง ไม่ใช่แค่ผลลัพธ์สุดท้าย
    • มันละเลยครูโดยสิ้นเชิง
    • ใช้เฉพาะป้ายกำกับที่แข็งเท่านั้น
    • มันฝึกครูแทนนักเรียน
  7. A teacher assigns similar small probabilities to wolf and fox when predicting dog. What can soft-target distillation transfer beyond the top label?
    • A guarantee that either alternative is the correct label
    • The teacher’s complete original training corpus
    • The teacher’s exact number of hidden layers
    • Relative relationships among the teacher’s alternative class scores
  8. A distilled student is smaller than its teacher. Which evaluation is needed before deployment?
    • Assume its accuracy must equal the teacher’s
    • Measure its task accuracy and runtime on the intended system
    • Assume fewer parameters guarantee lower latency on every device
    • Only compare the models’ names