طبقات المحول للنقل

المحولات، التي شاعها هولسبي وآخرون. (2019) لنقل التعلم في البرمجة اللغوية العصبية، معالجة مشكلة مكلفة: الضبط الدقيق الكامل يقوم بتحديث كل وزن في نموذج كبير وينتج نسخة جديدة كاملة لكل مهمة. يقوم المحول بدلاً من ذلك بإدخال شبكات عنق الزجاجة الصغيرة في كل كتلة محول، وعادةً ما يكون إسقاطًا لأسفل إلى بُعد منخفض، وعدم خطية، وإسقاطًا خلفيًا لأعلى، ملفوفًا في اتصال متبقي. أثناء التدريب، تظل الأوزان الأصلية المدربة مجمدة؛ يتم تعلم المحولات فقط (غالبًا ما تكون أقل من 5% من إجمالي المعلمات). وينتج عن ذلك جودة ضبط شبه كاملة على معايير مثل GLUE مع تدريب معلمات أقل بكثير. نظرًا لأن كل مهمة لها مهايئ صغير خاص بها، يمكنك تخزين نموذج أساسي واحد بالإضافة إلى العديد من وحدات المهام خفيفة الوزن، وتبديلها أو حتى تكديسها. تعد المحولات عضوًا أساسيًا في عائلة الضبط الدقيق (PEFT) ذات كفاءة المعلمة، جنبًا إلى جنب مع LoRA وضبط البادئة.