ما هو نافذة السياق?

عملية تقسيم النص إلى رموز مميزة لإدخال النموذج.

التحول في بيانات الإدخال في العالم الحقيقي مع مرور الوقت يمكن أن يؤدي إلى انخفاض أداء النموذج.

نموذج يمكنه معالجة أو إنشاء أنواع بيانات متعددة مثل النص والصورة والصوت.

مقياس لنموذج اللغة يقيس مدى مفاجأة النموذج بالرموز التالية الحقيقية.

تعليمات الإدخال والسياق المقدم للنموذج التوليدي.

نمط انتباه حيث يهتم كل رمز مميز فقط بنافذة ذات حجم ثابت من الرموز المميزة القريبة لتقليل الحوسبة.