คำศัพท์อภิธานศัพท์ AI

การตัดแต่งกิ่ง คืออะไร?

คำนิยาม

การลบน้ำหนักโมเดลหรือเซลล์ประสาทที่มีความสำคัญน้อยกว่าออกเพื่อลดขนาดและการคำนวณ

หน้าต่างบานเลื่อนความสนใจรูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผลกฎหมายมาตราส่วนความสัมพันธ์เชิงประจักษ์ที่แสดงให้เห็นว่าประสิทธิภาพดีขึ้นอย่างไรด้วยขนาดโมเดล ข้อมูล หรือการประมวลผลโมเดลกลั่นโมเดลขนาดเล็กได้รับการฝึกฝนให้เลียนแบบพฤติกรรมของโมเดลขนาดใหญ่ ในขณะที่ใช้การประมวลผลน้อยลงในการอนุมานการขยายพันธุ์กลับอัลกอริธึมการฝึกอบรมหลักที่อัปเดตน้ำหนักโมเดลโดยเผยแพร่ข้อผิดพลาดในการคาดการณ์แบบย้อนกลับผ่านเครือข่ายคำนวณทรัพยากรการประมวลผลที่จำเป็นสำหรับการฝึกและรันโมเดล ซึ่งมักวัดเป็นชั่วโมง FLOPS หรือ GPUการไล่ระดับสีเวกเตอร์ที่แสดงจำนวนพารามิเตอร์แต่ละตัวที่ควรเปลี่ยนแปลงเพื่อลดการสูญเสีย

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม