แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ

แบบทดสอบ Gumbel-Softmax และการปรับพารามิเตอร์ใหม่

ทดสอบการสุ่มตัวอย่างตามหมวดหมู่ การผ่อนคลายเชิงอนุพันธ์ เสียงกัมเบล อุณหภูมิ ตัวเลือกยาก และขีดจำกัดของเอาท์พุตแบบนุ่มนวล

เส้นทางแนะนำที่เกี่ยวข้องGumbel Softmax และการปรับพารามิเตอร์ใหม่
คำถาม 1 ของ 8

ทำไมการสุ่มแบบหมวดหมู่ถึงยากต่อการฝึกด้วยการย้อนแพร่แบบปกติ?

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. ทำไมการสุ่มแบบหมวดหมู่ถึงยากต่อการฝึกด้วยการย้อนแพร่แบบปกติ?
    • การกระจายแบบหมวดหมู่ไม่มีความน่าจะเป็น
    • การเลือกแบบจำเพาะเป็นการดำเนินการที่ไม่สามารถแยกความต่างได้
    • การสุ่มทำให้ลบตัวแปรอินพุตออก
    • ทุกหมวดหมู่มีค่าโลจิตเท่ากัน
  2. เทคนิคการปรับพารามิเตอร์มีเป้าหมายทำอะไร?
    • กำจัดความสุ่มทั้งหมดจากการฝึก
    • แทนที่กราดิเอนท์ด้วยป้ายกำกับ
    • ทำให้ผลลัพธ์แบบหมวดหมู่เป็นต่อเนื่องในช่วงการประเมิน
    • แสดงความสุ่มผ่านตัวแปรเสียงรบกวนภายนอกโดยยังคงเส้นทางแยกความต่างได้
  3. Gumbel-Softmax ทำการประมาณการเลือกแบบหมวดหมู่อย่างไร?
    • ใช้ป้ายกำกับคลาสแบบแข็งเป็นกราดิเอนท์
    • ทำให้พิกเซลอินพุตเป็นมาตรฐาน
    • เพิ่มสัญญาณรบกวน Gumbel ลงใน logits แล้วใช้ softmax ที่ควบคุมด้วยอุณหภูมิ
    • เฉลี่ย logits ข้ามตัวอย่างที่ไม่เกี่ยวข้อง
  4. เกิดอะไรขึ้นกับการกระจายเมื่ออุณหภูมิเพิ่มขึ้นมาก?
    • มันจะเรียบขึ้นในแต่ละหมวดหมู่
    • มันจะกลายเป็นตัวอย่างแบบหนึ่ง-ฮอตที่แน่นอน
    • logits จะถูกละทิ้ง
    • มันจะไม่ขึ้นกับสัญญาณรบกวน Gumbel อีกต่อไป
  5. เกิดอะไรขึ้นเมื่ออุณหภูมิเข้าใกล้ศูนย์?
    • ผลลัพธ์จะเป็นแบบสม่ำเสมอ
    • สัญญาณรบกวนจะกลายเป็นป้ายชื่อ
    • การดำเนินการจะหยุดพึ่งพา logits
    • ผลลัพธ์จะคมชัดขึ้นและใกล้เคียงกับการเลือกแบบ one‑hot ที่เป็นแบบจำเพาะ
  6. Gumbel‑Max trick ทำให้ได้อะไรบ้าง?
    • ค่าเฉลี่ยที่สามารถแยกแยะได้เหนือทุกหมวดหมู่
    • ตัวอย่างแบบหมวดหมู่ที่แม่นยำโดยการเพิ่ม Gumbel noise ที่อิสระต่อ logits แล้วนำ argmax
    • การแจกแจงแบบสม่ำเสมอไม่ขึ้นกับ logits
    • การประมาณค่ากราดิเอนท์จากป้ายกำกับ
  7. ทำไม Gumbel‑Softmax จึงมีประโยชน์ในโมเดลประสาท?
    • มันให้การผ่อนคลายที่สามารถแยกแยะได้สำหรับการเลือกแบบจำเพาะระหว่างการฝึกสอน
    • มันทำให้โมเดลทุกตัวเป็น deterministic
    • มันเข้ามาแทนที่เลเยอร์ที่ซ่อนอยู่ทั้งหมด
    • มันรับประกันว่าหมวดหมู่ที่เรียนรู้ถูกต้อง
  8. สิ่งที่ควรจำเกี่ยวกับตัวอย่าง soft ที่อุณหภูมิต่ำคืออะไร?
    • มันเป็นป้ายกำกับที่เป็นจริงเสมอ
    • มันไม่ขึ้นกับความน่าจะเป็นอีกต่อไป
    • เป็นการผ่อนคลายแบบเกือบไม่ต่อเนื่อง ไม่จำเป็นต้องเหมือนกับการเลือกค่ามากสุดแบบแข็งในทุกการตั้งค่าการฝึก
    • มันรับประกันว่าไม่มีอคติในการประมาณค่า