هندسة توجيه التنشيط والتمثيل

It matters as a precise, interpretable knob for controlling tone, honesty, or safety without fine-tuning.

تمثل النماذج اللغوية الكبيرة المفاهيم كاتجاهات في مساحة التنشيط عالية الأبعاد الخاصة بها. تدرس هندسة التمثيل هذه الاتجاهات، ويستخدمها توجيه التنشيط كأذرع تحكم. يمكنك العثور على "متجه توجيهي" لمفهوم ما، غالبًا عن طريق حساب متوسط ​​الفرق بين عمليات التنشيط على المطالبات المتناقضة (على سبيل المثال الإجابات الصادقة مقابل الإجابات الخادعة)، ثم قم بإضافة هذا المتجه إلى التدفق المتبقي للنموذج أثناء الاستدلال، مع زيادة حجمه أو تقليله. ادفع باتجاه "الرفض" وسيتراجع النموذج أكثر؛ ادفع في الاتجاه المعاكس وهو يتوافق أكثر. نظرًا لأنك تتدخل في وقت الاستدلال، يكون التأثير فوريًا وقابلاً للعكس وقابل للتعديل بمعامل واحد. وهذا يجعلها أداة قوية لأبحاث السلامة، وتصحيح السلوكيات المخفية، والتحكم الخفيف، على الرغم من أن التوجيه بقوة شديدة يمكن أن يؤدي إلى تدهور التماسك، وقد لا يتم تعميم المتجهات الموجودة لمجموعة موجه واحدة.