คำศัพท์อภิธานศัพท์ AI

กลไกความสนใจ คืออะไร?

คำนิยาม

ส่วนประกอบโมเดลที่เน้นแบบไดนามิกไปยังส่วนที่เกี่ยวข้องของอินพุตเมื่อสร้างเอาต์พุต

ตัวเข้ารหัสส่วนประกอบของแบบจำลองที่แปลงอินพุตเป็นการเป็นตัวแทนแฝงความสนใจหลายหัวกลไกของหม้อแปลงที่ดำเนินการให้ความสนใจหลายรายการพร้อมกันเพื่อบันทึกความสัมพันธ์ประเภทต่างๆอาลีบีวิธีอคติเชิงตำแหน่งที่ลงโทษคะแนนความสนใจตามระยะทางโทเค็น ช่วยให้แบบจำลองคาดการณ์บริบทที่ยาวขึ้นการจำแนกประเภทงานที่แบบจำลองกำหนดอินพุตให้กับหมวดหมู่ที่กำหนดไว้ล่วงหน้าอย่างน้อยหนึ่งหมวดหมู่หน้าต่างบริบทจำนวนโทเค็นอินพุตสูงสุดที่โมเดลภาษาสามารถประมวลผลได้ในคราวเดียวข้อมูลดริฟท์การเปลี่ยนแปลงของข้อมูลอินพุตในโลกแห่งความเป็นจริงเมื่อเวลาผ่านไป ซึ่งอาจทำให้ประสิทธิภาพของโมเดลลดลง

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

ดูเพิ่มเติม