توصلت الدراسة إلى أن النواقل الصغيرة الحجم يمكن أن تؤثر ماديًا على التدريب على نماذج اللغة الكبيرة
تقول دراسة arXiv المنقحة أن المتجهات الصغيرة القابلة للتعلم داخل طبقات تطبيع LLM لها تأثير أكبر على التدريب مما يوحي به عدد المعلمات الخاصة بها. أبلغ المؤلفون عن انخفاض فقدان التدريب من خلال العديد من التغييرات خفيفة الوزن عبر النماذج الكثيفة والمختلطة من الخبراء، لكن الملخص لا يقدم...