ต่อไปคำแนะนำต่อไป
Using AI to Work Through Physics Problems
การใช้งาน
คู่มือทางเทคนิค
Straight-Through Estimator (STE) เป็นเคล็ดลับง่ายๆ สำหรับเครือข่ายการฝึกอบรมที่มีขั้นตอนที่ยากและไม่สามารถแยกแยะได้ เช่น การปัดเศษหรือการกำหนดขีดจำกัด
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
โดยจะใช้ค่าที่ไม่ต่อเนื่องในการส่งต่อ แต่ทำเป็นว่าการดำเนินการนั้นเป็นเอกลักษณ์เมื่อคำนวณการไล่ระดับสี
การดำเนินการบางอย่าง เช่น การปัดเศษเป็นจำนวนเต็ม ไบนารี่น้ำหนักเป็น +1/-1 หรือการเลือกหมวดหมู่บนสุดด้วย argmax มีอนุพันธ์ที่เป็นศูนย์เกือบทุกที่และไม่ได้กำหนดไว้ที่การกระโดด การไล่ระดับสีเป็นศูนย์นั้นจะหยุดการเรียนรู้ความเย็น ตัวประมาณค่าตรงจะเลี่ยงสิ่งนี้โดยแยกการจ่ายบอลไปข้างหน้าและย้อนกลับ: ไปข้างหน้า จะใช้การดำเนินการที่หนักหน่วงอย่างแท้จริง ย้อนกลับ เพียงคัดลอกการไล่ระดับสีที่เข้ามาโดยตรงราวกับว่าการดำเนินการนั้นเป็นข้อมูลประจำตัว (หรือพร็อกซีที่ราบรื่น) การประมาณการมีความเอนเอียง เนื่องจากการไล่ระดับสีที่แท้จริงนั้นเป็นศูนย์ แต่ในทางปฏิบัติแล้ว การประมาณ 'แกล้งทำเป็นว่าราบรื่น' จะฝึกเครือข่ายแบบไบนารีและแบ่งปริมาณได้ดีมาก ซึ่งเป็นเหตุผลว่าทำไม STE จึงเป็นกลไกสำคัญของการเรียนรู้เชิงลึกที่มีประสิทธิภาพ
การฝึกอบรมโครงข่ายประสาทเทียมแบบไบนารีและบิตต่ำเพื่อการอนุมานที่มีประสิทธิภาพบนโทรศัพท์และอุปกรณ์ Edge
การเผยแพร่ย้อนกลับผ่านการค้นหาสมุดโค้ดแบบแยกใน VQ-VAE และโทเค็นไนเซอร์เสียง/ภาพแบบนิวรัล
การฝึกอบรมที่คำนึงถึงปริมาณ โดยที่น้ำหนักหรือการเปิดใช้งานจะถูกปัดเศษเป็นจุดคงที่ในระหว่างการส่งต่อ
การเรียนรู้อย่างตั้งใจหรือ gating แบบแยกส่วนโดยมี argmax หรือเกณฑ์อยู่ในเส้นทางการคำนวณ
STE สนับสนุนการเพิ่มขึ้นอย่างรวดเร็วของโครงข่ายประสาทเทียมแบบบิตต่ำและไบนารีที่ติดตามสำหรับ AI บนอุปกรณ์และที่จำกัดพลังงาน และเป็นศูนย์กลางในการฝึกอบรมแบบจำลองเชิงปริมาณเวกเตอร์ เช่นเดียวกับที่ใช้ในโทเค็นไนเซอร์รูปภาพและเสียงสมัยใหม่ การทำงานที่กำลังดำเนินอยู่ต้องใช้ตัวประมาณค่าเกรเดียนต์ที่เข้มงวดมากขึ้นและมีอคติน้อยลง และมีความเข้าใจทางทฤษฎีที่ดีขึ้นว่าเหตุใดการประมาณอย่างคร่าวๆ จึงได้ผล เนื่องจากความต้องการโมเดลขนาดเล็ก รวดเร็ว และเชิงปริมาณเพิ่มขึ้นบนโทรศัพท์และฮาร์ดแวร์เอดจ์ คาดว่าเทคนิคแบบ STE จะยังคงเป็นพื้นฐานแม้ว่าจะทราบถึงอคติก็ตาม
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
Straight-Through Estimator (STE) เป็นเคล็ดลับง่ายๆ สำหรับเครือข่ายการฝึกอบรมที่มีขั้นตอนที่ยากและไม่สามารถแยกแยะได้ เช่น การปัดเศษหรือการกำหนดขีดจำกัด โดยจะใช้ค่าที่ไม่ต่อเนื่องในการส่งต่อ แต่ทำเป็นว่าการดำเนินการนั้นเป็นเอกลักษณ์เมื่อคำนวณการไล่ระดับสี
The guide describes a hard forward pass and a surrogate backward pass.
The guide says hard rounding has a zero or undefined derivative that can stop learning.
The guide explicitly notes that the approximation is biased.
The guide names quantization and rounding as common applications.
The guide gives this pattern to preserve the hard value while passing the identity gradient.
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
Using AI to Work Through Physics Problems
การใช้งาน