نماذج اللغة الصغيرة

They trade some raw capability for speed, privacy, and the ability to run without a data center.

في حين أن النماذج الرائدة يمكن أن تحتوي على مئات المليارات أو تريليونات من المعلمات ورفوف الطلب من وحدات معالجة الرسومات، فإن نماذج اللغة الصغيرة تثبت أن التدريب الدقيق يمكن أن يجمع أداءً قويًا في حزمة أصغر بكثير. تُظهر النماذج مثل عائلة Phi الخاصة بـ Microsoft، وGemma الخاصة بـ Google، ومتغيرات Llama الأصغر حجمًا لدى Meta، أن جودة البيانات، وليس الحجم فقط، هي التي تحدد القدرة. ومن النتائج المفاجئة أن التدريب على بيانات أنظف وأكثر تنظيمًا يسمح لنموذج صغير بمنافسة نماذج أكبر بكثير في العديد من المهام. تفتح SLMs الذكاء الاصطناعي على الجهاز: فهي تعمل محليًا على جهاز كمبيوتر محمول أو هاتف ذكي، بحيث لا تترك بياناتك الجهاز أبدًا، ويكون زمن الاستجابة منخفضًا، ولا توجد تكاليف سحابية لكل استعلام. كما أنها أرخص في الضبط الدقيق للمجالات المتخصصة. وتتمثل المفاضلة في أنهم يميلون إلى الحصول على معرفة أقل اتساعًا بالعالم وأداء أضعف في أصعب المهام المنطقية مقارنة بالنماذج العملاقة.