แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ยาก ระดับ
แบบทดสอบ Gumbel-Softmax และการปรับพารามิเตอร์ใหม่
ทดสอบการสุ่มตัวอย่างตามหมวดหมู่ การผ่อนคลายเชิงอนุพันธ์ เสียงกัมเบล อุณหภูมิ ตัวเลือกยาก และขีดจำกัดของเอาท์พุตแบบนุ่มนวล
คำถาม 1 ของ 8
ทำไมการสุ่มแบบหมวดหมู่ถึงยากต่อการฝึกด้วยการย้อนแพร่แบบปกติ?
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- ทำไมการสุ่มแบบหมวดหมู่ถึงยากต่อการฝึกด้วยการย้อนแพร่แบบปกติ?
- การกระจายแบบหมวดหมู่ไม่มีความน่าจะเป็น
- การเลือกแบบจำเพาะเป็นการดำเนินการที่ไม่สามารถแยกความต่างได้
- การสุ่มทำให้ลบตัวแปรอินพุตออก
- ทุกหมวดหมู่มีค่าโลจิตเท่ากัน
- เทคนิคการปรับพารามิเตอร์มีเป้าหมายทำอะไร?
- กำจัดความสุ่มทั้งหมดจากการฝึก
- แทนที่กราดิเอนท์ด้วยป้ายกำกับ
- ทำให้ผลลัพธ์แบบหมวดหมู่เป็นต่อเนื่องในช่วงการประเมิน
- แสดงความสุ่มผ่านตัวแปรเสียงรบกวนภายนอกโดยยังคงเส้นทางแยกความต่างได้
- Gumbel-Softmax ทำการประมาณการเลือกแบบหมวดหมู่อย่างไร?
- ใช้ป้ายกำกับคลาสแบบแข็งเป็นกราดิเอนท์
- ทำให้พิกเซลอินพุตเป็นมาตรฐาน
- เพิ่มสัญญาณรบกวน Gumbel ลงใน logits แล้วใช้ softmax ที่ควบคุมด้วยอุณหภูมิ
- เฉลี่ย logits ข้ามตัวอย่างที่ไม่เกี่ยวข้อง
- เกิดอะไรขึ้นกับการกระจายเมื่ออุณหภูมิเพิ่มขึ้นมาก?
- มันจะเรียบขึ้นในแต่ละหมวดหมู่
- มันจะกลายเป็นตัวอย่างแบบหนึ่ง-ฮอตที่แน่นอน
- logits จะถูกละทิ้ง
- มันจะไม่ขึ้นกับสัญญาณรบกวน Gumbel อีกต่อไป
- เกิดอะไรขึ้นเมื่ออุณหภูมิเข้าใกล้ศูนย์?
- ผลลัพธ์จะเป็นแบบสม่ำเสมอ
- สัญญาณรบกวนจะกลายเป็นป้ายชื่อ
- การดำเนินการจะหยุดพึ่งพา logits
- ผลลัพธ์จะคมชัดขึ้นและใกล้เคียงกับการเลือกแบบ one‑hot ที่เป็นแบบจำเพาะ
- Gumbel‑Max trick ทำให้ได้อะไรบ้าง?
- ค่าเฉลี่ยที่สามารถแยกแยะได้เหนือทุกหมวดหมู่
- ตัวอย่างแบบหมวดหมู่ที่แม่นยำโดยการเพิ่ม Gumbel noise ที่อิสระต่อ logits แล้วนำ argmax
- การแจกแจงแบบสม่ำเสมอไม่ขึ้นกับ logits
- การประมาณค่ากราดิเอนท์จากป้ายกำกับ
- ทำไม Gumbel‑Softmax จึงมีประโยชน์ในโมเดลประสาท?
- มันให้การผ่อนคลายที่สามารถแยกแยะได้สำหรับการเลือกแบบจำเพาะระหว่างการฝึกสอน
- มันทำให้โมเดลทุกตัวเป็น deterministic
- มันเข้ามาแทนที่เลเยอร์ที่ซ่อนอยู่ทั้งหมด
- มันรับประกันว่าหมวดหมู่ที่เรียนรู้ถูกต้อง
- สิ่งที่ควรจำเกี่ยวกับตัวอย่าง soft ที่อุณหภูมิต่ำคืออะไร?
- มันเป็นป้ายกำกับที่เป็นจริงเสมอ
- มันไม่ขึ้นกับความน่าจะเป็นอีกต่อไป
- เป็นการผ่อนคลายแบบเกือบไม่ต่อเนื่อง ไม่จำเป็นต้องเหมือนกับการเลือกค่ามากสุดแบบแข็งในทุกการตั้งค่าการฝึก
- มันรับประกันว่าไม่มีอคติในการประมาณค่า