การจัดตารางอัตราการเรียนรู้

Getting it right is often the single biggest lever for whether a model converges quickly and reaches high accuracy.

อัตราการเรียนรู้จะควบคุมว่าเครื่องมือเพิ่มประสิทธิภาพจะใช้ขั้นตอนใหญ่เพียงใดในการอัปเดตแต่ละครั้ง สูงเกินไปและการฝึกฝนแตกต่าง ต่ำเกินไปและคลานหรือติดขัด การกำหนดเวลาจะปรับค่านี้เมื่อเวลาผ่านไป สูตรสมัยใหม่ทั่วไปคือการอุ่นเครื่องตามด้วยการสลายตัว โดยเริ่มจากใกล้ศูนย์และเพิ่มขึ้นในช่วงสองสามร้อยหรือพันก้าวแรก (ดังนั้นในช่วงแรก การไล่ระดับสีที่มีเสียงดังจะไม่ทำให้น้ำหนักที่ไม่เสถียรระเบิด) จากนั้นจึงค่อยๆ ลดลง รูปร่างการสลายที่ได้รับความนิยม ได้แก่ การสลายแบบขั้น (ลดลงตามปัจจัยในยุคที่กำหนด) การสลายแบบเอกซ์โปเนนเชียล และการหลอมโคไซน์ ซึ่งเคลื่อนตามเส้นโค้งครึ่งโคไซน์ได้อย่างราบรื่นจนถึงใกล้ศูนย์ ขณะนี้ตารางโคไซน์ที่มีการวอร์มอัพเชิงเส้นเป็นมาตรฐานสำหรับการฝึกโมเดลภาษาขนาดใหญ่ ในขณะที่นโยบายแบบวนรอบและรอบเดียวสามารถเร่งการฝึกโมเดลขนาดเล็กได้