ต่อไปคำแนะนำต่อไป
การถดถอย Softmax สำหรับการจำแนกประเภทหลายคลาส
เทคนิค
คู่มือทางเทคนิค
Gumbel-Softmax เป็นกลอุบายที่ช่วยให้ 'ตัวอย่าง' โครงข่ายประสาทเทียมจากหมวดหมู่ที่ไม่ต่อเนื่องในขณะที่ยังคงสามารถฝึกได้โดยการไล่ระดับสี
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
เป็นเรื่องสำคัญเพราะโดยปกติแล้วการเผยแพร่กลับไม่สามารถไหลผ่านตัวเลือกแบบสุ่มและไม่ต่อเนื่องได้
โครงข่ายประสาทเทียมเรียนรู้โดยการส่งการไล่ระดับสีไปข้างหลังตลอดทุกการดำเนินการ แต่การสุ่มตัวอย่างหมวดหมู่แยกกัน (เช่น การเลือกคำที่ 7 จาก 50,000) เป็นการกระโดดที่ยากและไม่สามารถแยกแยะได้ ดังนั้นการไล่ระดับสีจึงตายตรงนั้น เคล็ดลับการปรับพารามิเตอร์ใหม่จะเขียนการสุ่มตัวอย่างใหม่ เพื่อให้การสุ่มมาจากแหล่งสัญญาณรบกวนภายนอกคงที่ ทิ้งเส้นทางการไล่ระดับสีที่ราบรื่นและแยกความแตกต่างได้ Gumbel-Softmax ใช้สิ่งนี้กับตัวแปรหมวดหมู่ โดยจะเพิ่มสัญญาณรบกวนที่กระจายโดย Gumbel ให้กับบันทึก จากนั้นแทนที่ฮาร์ดอาร์กแม็กซ์ด้วยซอฟต์แม็กซ์ที่ควบคุมอุณหภูมิ ที่อุณหภูมิสูงเอาต์พุตจะมีหยดเรียบเหนือหมวดหมู่ เมื่ออุณหภูมิลดลงสู่ศูนย์ มันก็จะแหลมไปทางเวกเตอร์ที่ร้อนเกือบจุดเดียว ทำให้ได้ตัวอย่างจริงกลับคืนมาในขณะที่ยังคงสามารถหาอนุพันธ์ได้ตลอด
การฝึกอบรมตัวเข้ารหัสอัตโนมัติแบบแปรผันด้วยโค้ดแฝงแบบแยกหมวดหมู่ (แยกส่วน) แทนที่จะเป็นโค้ดแบบเกาส์เซียนแบบต่อเนื่องเท่านั้น
การค้นหาสถาปัตยกรรมประสาทที่แตกต่าง (เช่น วิธีการแบบ DARTS) โดยเลือกการดำเนินการที่จะวางในแต่ละเลเยอร์
การเรียนรู้การเลือก Codebook แบบแยกในรูปแบบ VQ และแบบจำลองการแสดงแบบแยกส่วน
การตัดสินใจกำหนดเส้นทางหรือเกตติ้งที่แตกต่างในเครือข่ายที่ผู้เชี่ยวชาญผสมผสานและการคำนวณแบบมีเงื่อนไข
Gumbel-Softmax ยังคงเป็นเครื่องมือเริ่มต้นสำหรับตัวแปรแฝงแบบแยก การค้นหาสถาปัตยกรรมเชิงอนุพันธ์ แบบจำลองเชิงปริมาณเวกเตอร์ และการเรียนรู้การกำหนดเส้นทางในระบบแบบผสมผสานของผู้เชี่ยวชาญ การวิจัยยังคงดำเนินต่อไปเกี่ยวกับความแปรปรวนที่ต่ำกว่า การผ่อนคลายด้วยอคติที่ต่ำกว่า (เช่น Rao-Blackwellized และตัวประมาณค่าตัวแปรควบคุม) และกำหนดการหลอมที่ปรับสมดุลของอคติของอุณหภูมิที่อบอุ่นกับความแปรปรวนของการไล่ระดับที่สูงของอุณหภูมิที่เย็น ในขณะที่แบบจำลองมีการตัดสินใจแบบแยกส่วนอย่างชัดเจนมากขึ้นเรื่อยๆ คาดหวังว่าการผ่อนคลายอย่างต่อเนื่องเหล่านี้จะเป็นศูนย์กลางในการตัดสินใจเลือกดังกล่าวให้เรียนรู้ได้ตั้งแต่ต้นจนจบ
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Gumbel-Softmax เป็นกลอุบายที่ช่วยให้ 'ตัวอย่าง' โครงข่ายประสาทเทียมจากหมวดหมู่ที่ไม่ต่อเนื่องในขณะที่ยังคงสามารถฝึกได้โดยการไล่ระดับสี เป็นเรื่องสำคัญเพราะโดยปกติแล้วการเผยแพร่กลับไม่สามารถไหลผ่านตัวเลือกแบบสุ่มและไม่ต่อเนื่องได้
The guide explains gradients do not pass through a hard discrete jump.
The guide describes moving randomness into a noise source and preserving a smooth path.
The guide gives the noisy softmax construction for differentiable categorical sampling.
High temperature yields a smoother distribution over categories.
The guide says low temperature sharpens toward a near one-hot vector.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การถดถอย Softmax สำหรับการจำแนกประเภทหลายคลาส
เทคนิค