คืออะไร กลไกความสนใจ?

ส่วนประกอบของแบบจำลองที่แปลงอินพุตเป็นการเป็นตัวแทนแฝง

กลไกของหม้อแปลงที่ดำเนินการให้ความสนใจหลายรายการพร้อมกันเพื่อบันทึกความสัมพันธ์ประเภทต่างๆ

วิธีอคติเชิงตำแหน่งที่ลงโทษคะแนนความสนใจตามระยะทางโทเค็น ช่วยให้แบบจำลองคาดการณ์บริบทที่ยาวขึ้น

งานที่แบบจำลองกำหนดอินพุตให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าอย่างน้อยหนึ่งหมวดหมู่

จำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียว

การเปลี่ยนแปลงของข้อมูลอินพุตในโลกแห่งความเป็นจริงเมื่อเวลาผ่านไป ซึ่งอาจทำให้ประสิทธิภาพของโมเดลลดลง