การตัดแต่งกิ่ง คืออะไร?

รูปแบบความสนใจที่แต่ละโทเค็นเข้าร่วมเฉพาะหน้าต่างขนาดคงที่ของโทเค็นใกล้เคียงเพื่อลดการประมวลผล

ความสัมพันธ์เชิงประจักษ์ที่แสดงให้เห็นว่าประสิทธิภาพดีขึ้นอย่างไรด้วยขนาดโมเดล ข้อมูล หรือการประมวลผล

โมเดลขนาดเล็กได้รับการฝึกฝนให้เลียนแบบพฤติกรรมของโมเดลขนาดใหญ่ ในขณะที่ใช้การประมวลผลน้อยลงในการอนุมาน

อัลกอริธึมการฝึกอบรมหลักที่อัปเดตน้ำหนักโมเดลโดยเผยแพร่ข้อผิดพลาดในการคาดการณ์แบบย้อนกลับผ่านเครือข่าย

ทรัพยากรการประมวลผลที่จำเป็นสำหรับการฝึกและรันโมเดล ซึ่งมักวัดเป็นชั่วโมง FLOPS หรือ GPU

เวกเตอร์ที่แสดงจำนวนพารามิเตอร์แต่ละตัวที่ควรเปลี่ยนแปลงเพื่อลดการสูญเสีย