หน้าต่างบริบท

มันกําหนดขีดจํากัดที่ชัดเจนว่าโมเดลสามารถใช้บทสนทนา เอกสาร หรือคําแนะนําได้มากแค่ไหน

โมเดลไม่อ่านอักขระหรือคำศัพท์โดยตรง พวกเขาอ่านโทเค็น โดยที่โทเค็นคือกลุ่มของข้อความประมาณสามในสี่ของคำในภาษาอังกฤษ หน้าต่างบริบทนับพร้อมท์บวกกับการตอบสนองของโมเดลเอง GPT-3 ยุคแรกรองรับโทเค็นได้ประมาณ 2,000 โทเค็น ภายในปี 2568-2569 โมเดลชายแดนขยายตัวอย่างมาก - Gemini ของ Google เข้าถึงโทเค็นถึงหนึ่งถึงสองล้านโทเค็น โมเดล Claude และ GPT หลายรายการเสนอ 128K สูงถึงหนึ่งล้าน ซึ่งเพียงพอสำหรับหนังสือทั้งเล่มหรือโค้ดเบส แต่ใหญ่ขึ้นไม่ได้ดีขึ้นโดยอัตโนมัติ เนื่องจากความสนใจเปรียบเทียบทุกโทเค็นกับโทเค็นอื่นๆ ต้นทุนการประมวลผลและหน่วยความจำจึงเพิ่มขึ้นอย่างมากตามความยาว แบบจำลองยังแสดงเอฟเฟกต์ 'หายไปตรงกลาง' โดยเรียกคืนข้อมูลที่จุดเริ่มต้นและจุดสิ้นสุดของอินพุตขนาดยาวได้อย่างน่าเชื่อถือมากกว่าวัสดุที่ฝังอยู่ตรงกลาง