کیا ہوا؟
arXiv پر 19 اگست 2026 کو ایک واحد مصنف کا پری پرنٹ پوسٹ کیا گیا ہے جس میں میکانکی تشریحی طریقوں کے علاج کی تجویز پیش کی گئی ہے - پیچنگ، گریڈینٹ انتساب، ہیسیئن-ویکٹر پروڈکٹس اور سب سیٹ انٹروینشنز - ایک ڈیزائن کردہ پیمائش کے مسئلے کی مثال کے طور پر، اور GPT اور کنٹرول سسٹم، 2026 پر کنٹرول کے ٹیسٹوں کی رپورٹ کرتا ہے۔ Qwen-2.5-7B۔
مقالے، "میکانسٹک ٹوموگرافی: کنٹرول پر مبنی تشریح کے لیے ڈیزائن کردہ پیمائش،" کا سہرا وجے ایرملی کو دیا جاتا ہے اور 13 اعداد کے ساتھ 24 صفحات پر مشین لرننگ اور مصنوعی ذہانت کے تحت درج ہے۔ اس کا ابتدائی مشاہدہ یہ ہے کہ تشریح کے محققین چاہتے ہیں کہ مقدار کے ماڈلز براہ راست ظاہر نہ ہوں — نمائندگی شدہ ریاستیں، اجزاء کے اثرات، اجزاء کے درمیان تعاملات، اور مداخلتوں کے جوابات — اور یہ کہ موجودہ تکنیک ان مقداروں کو مختلف رسائی کے مفروضوں کے تحت ناپتی ہے اور ہو سکتا ہے کہ ایک ہی چیز کو نشانہ نہ بنائے۔ ایکٹیویشن پیچنگ، گریڈینٹ انتساب، ہیسیئن ویکٹر پروڈکٹس اور سب سیٹ انٹروینشن کو مسابقتی طریقوں کے طور پر سمجھنے کے بجائے، مصنف کا استدلال ہے کہ وہ ایک پیمائشی ڈھانچہ کا اشتراک کرتے ہیں اور انہیں ایک مشترکہ شکل میں لکھا جا سکتا ہے۔
وہ عام شکل لکیری ماڈل y = Ax + w ہے۔ ایک منتخب بنیاد اور مداخلتوں کے خاندان کو دیکھتے ہوئے، A انکوڈ کرتا ہے کہ کون سی مداخلتیں چلائی گئی تھیں، x وہ ہدف کا نقشہ ہے جسے محقق بازیافت کرنا چاہتا ہے، اور w وہ جذب کرتا ہے جسے لکیری شکل حاصل نہیں کرتی ہے: غیر خطی ردعمل، نمونے لینے کی غلطی، اور بنیاد کی غلط وضاحت۔ فریمنگ ایک الگورتھم کے بجائے ایک طریقہ کار پیدا کرتی ہے — آپ کی رسائی کی سطح کے تحت دستیاب سب سے سستی پیمائش کے ساتھ شروع کریں، جس پیمانے پر آپ کام کرنے کا ارادہ رکھتے ہیں اس پر ہولڈ آؤٹ مداخلتوں کا اندازہ کریں، سادہ مماثلت کیلیبریٹ کریں، پھر پیمائش کے خاندان کو صرف اس صورت میں وسیع کریں جب ساختی باقیات باقی رہیں۔
کنٹرول کاغذ کی توثیق کی ترتیب ہے، اس دلیل پر کہ ماڈل کو چلانے کے لیے استعمال ہونے والا تخمینہ فیڈ بیک لوپ کے اندر ایک مبصر بن جاتا ہے۔ دو پوشیدہ مارکوف ماڈلز سے بنائے گئے سسٹم میں، خلاصہ رپورٹیں مبصر کی غلطی کے بڑھنے کے ساتھ ہی بڑھتی ہوئی غلطی کو کنٹرول کرتی ہیں، اور ایک ناکامی کے موڈ کو جھنڈا دیتی ہیں جس میں ہدف کی مقدار بہتر ہوتی ہے جب کہ ایک پریشان کن حالت حرکت کرتی ہے۔ صرف فارورڈ رسائی کے تحت، یہ کہتا ہے کہ ویرل مجموعی پیمائش نے کوآرڈینیٹ بہ کوآرڈینیٹ پیچنگ کے مقابلے میں کم مداخلتوں کے ساتھ ایک محدود اثر کا نقشہ برآمد کیا۔ تدریجی رسائی کے ساتھ، محدود تحقیقات نے مقامی انتساب کے نقشے کو بہتر بنایا، جبکہ لفٹ شدہ پیمائش اور ہیسیئن ویکٹر پروڈکٹس نے ان تعاملات کو بازیافت کیا جو پہلے آرڈر کے نقشے سے چھوٹ گئے۔ Tracr کے ساتھ تجربات - معلوم زمینی سچائی کے ساتھ مرتب کردہ ٹرانسفارمر - اس بات کی نشاندہی کرتے ہیں کہ مطلوبہ پیمائش کا خاندان منتخب کردہ بنیاد پر منحصر ہے۔
دو زبانی ماڈل کے نتائج بیان کیے گئے ہیں۔ GPT-2-small کے بالواسطہ آبجیکٹ کی شناخت کے کام پر، اس لٹریچر میں ایک طویل مطالعہ شدہ سرکٹ، Name Mover اور Negative Name Mover ہیڈز کے درمیان تعامل تین آزمائشی کراس گروپ جوڑوں کے درمیان سب سے بڑی ہولڈ آؤٹ پیشن گوئی کی اصطلاح تھی۔ Qwen-2.5-7B پر، محدود کیلیبریشن نے انکار کے جواب کا ایک اضافی نقشہ کافی بنا دیا، اس لیے ہولڈ آؤٹ ایرر جوڑے کی طرح تعامل کی شرائط کو شامل کرنے کی حمایت نہیں کرتا تھا۔ خلاصہ اثر کے سائز کی اطلاع نہیں دیتا ہے، اسپارس اپروچ نے کتنی مداخلتوں کو بچایا، کون سے پرامپٹ سیٹ یا نمونے کے سائز استعمال کیے گئے، یا کوآرڈینیٹ پیچنگ سے آگے کی بنیاد لائنیں۔ ایک متعلقہ Zenodo ریکارڈ arXiv اندراج کے ساتھ درج ہے۔ اس کے مواد کو خلاصہ صفحہ پر بیان نہیں کیا گیا ہے۔
یہ کیوں اہمیت رکھتا ہے۔
تشریحی نتائج تیزی سے ماڈل کے رویے کو چلانے کے لیے استعمال ہوتے ہیں، نہ کہ صرف اس کی وضاحت کرتے ہیں۔ کاغذ کا تعاون اس بات کا امتحان ہے کہ آیا اندرونی نقشہ اس استعمال کے لیے کافی درست ہے، نیز ایک انتباہ کہ اسٹیئرنگ مداخلت کامیاب نظر آسکتی ہے جب کچھ اور بدل جاتا ہے۔
بہت زیادہ تشریحی کام ایک ماڈل کے بارے میں تلاش کے طور پر رپورٹ کیا جاتا ہے: یہ توجہ کا سر وہ کرتا ہے، یہ خصوصیت اسے انکوڈ کرتی ہے۔ تعیناتی کے دباؤ نے سوال کو بدل دیا ہے۔ انکار اسٹیئرنگ، ایکٹیویشن ایڈیٹنگ اور سرکٹ لیول مانیٹرنگ سبھی رویے کو تبدیل کرنے کے لیے اندرونی اندازے کا استعمال کرتے ہیں، جو اس تخمینے کی درستگی کو علمی نکتہ چینی کی بجائے انجینئرنگ کی ضرورت بناتا ہے۔ ڈیزائن کردہ پیمائش کے طور پر طریقوں کو کاسٹ کرنے سے یہ پوچھنے کے لئے ایک ذخیرہ الفاظ ملتا ہے کہ کتنی پیمائش کی ضرورت ہے، کس رسائی کی سطح پر، اس سے پہلے کہ اس کے اوپر تعمیر کردہ مداخلت پر انحصار کیا جا سکے۔
ہولڈ آؤٹ انٹروینشن ٹیسٹ پیپر میں سب سے زیادہ پورٹیبل خیال ہے۔ تشریح کے دعوے اکثر انہی مداخلتوں کا استعمال کرتے ہوئے توثیق کیے جاتے ہیں جو ان کو فٹ کرنے کے لیے استعمال کیے گئے تھے، جس کی وجہ سے کسی حقیقی میکانزم کو منحنی خطوط سے الگ کرنا مشکل ہو جاتا ہے جو فٹ ہونے کے لیے ہوتا ہے۔ فٹنگ سے روکی گئی مداخلتوں کو برقرار رکھنے کے لیے پیشین گوئیوں کا تقاضہ کرنا، اور استعمال کے لیے بنائے گئے پیمانے پر، اعداد و شمار اور کنٹرول میں ایک مانوس ڈسپلن ہے جس کا اطلاق غیر مساوی طور پر ہوتا ہے۔ یہ ایک ایسا معیار بھی ہے جسے پریکٹیشنرز کاغذ کی وسیع تر رسمیت کو قبول کیے بغیر اپنا سکتے ہیں۔
پریشان کن حالت کا نتیجہ حفاظت سے متعلق احتیاط ہے، لیکن اسے کھلونا ترتیب میں بیان کیا گیا ہے۔ اگر کوئی مداخلت کسی اور چیز کو خاموشی سے منتقل کرتے ہوئے ہدف شدہ مقدار کو منتقل کرتی ہے، تو ایک تشخیص جو صرف ہدف کو ٹریک کرتی ہے کامیابی کی اطلاع دے گی۔ یہ پیٹرن غیر متعلقہ رویے کو تبدیل کرتے ہوئے کسی ماڈل کو ایک ناپسندیدہ آؤٹ پٹ سے دور کرنے کے بارے میں حقیقی خدشات کا نقشہ بناتا ہے۔ کاغذ اسے زبان کے ماڈل کے بجائے دو-HMM نظام میں ظاہر کرتا ہے، اور خلاصہ دوسری صورت میں دعوی نہیں کرتا ہے۔
Qwen-2.5-7B اضافی پیچیدگی کے خلاف کٹوتیوں کو تلاش کرنا، جو قابل توجہ ہے کیونکہ تشریحی ٹولنگ میں اضافہ ہوتا ہے۔ وہاں، انکار کے جواب کا ایک آسان اضافی اکاؤنٹ ہولڈ آؤٹ ٹیسٹنگ سے بچ گیا اور ڈیٹا نے تعامل کی شرائط کا جواز نہیں دیا۔ GPT-2-چھوٹے نتیجے کے ساتھ پڑھیں، جہاں ایک تعامل کی اصطلاح میں پیشین گوئی کا وزن ہوتا ہے، اس کا مطلب یہ ہے کہ مشینری کی صحیح مقدار ایک طے شدہ طریقہ کار کے انتخاب کے بجائے فی ماڈل، کام اور بنیاد پر ایک تجرباتی سوال ہے۔
انٹرایکٹو میکانزم: یہ اصل میں کیسے کام کرتا ہے۔
اس ترقی کے پیچھے بنیادی ٹیکنالوجی کو انٹرایکٹو طریقے سے دریافت کریں۔
In AI, what are a model's "parameters"?
آگے کیا دیکھنا ہے۔
آیا منعقد کیے گئے ٹیسٹ بڑے ماڈلز اور آزاد ٹیموں کے ذریعے نقل کیے جاتے ہیں، آیا کوڈ اور مداخلت کے سیٹ دستیاب ہو جاتے ہیں، اور آیا نتائج ہم مرتبہ کے جائزے میں زندہ رہتے ہیں۔
فوری طور پر کھلا سوال پیمانہ ہے۔ رپورٹ کردہ لینگویج ماڈل کا ثبوت GPT-2-small پر ایک کام ہے — 2019 میں جاری کردہ 124-ملین پیرامیٹر ماڈل — اور 7-ارب پیرامیٹر Qwen ماڈل پر ایک انکار-ردعمل کا نقشہ ہے۔ کیا اسپرس ایگریگیٹ پیمائش موجودہ فرنٹیئر اسکیل سسٹمز پر اپنے مداخلت کی گنتی کا فائدہ برقرار رکھتی ہے، جہاں فارورڈ پاسز مہنگے ہوتے ہیں اور رسائی اکثر API تک محدود ہوتی ہے، اس پر توجہ نہیں دی جاتی جو خلاصہ بیان کرتی ہے۔ دوسرے ماڈل فیملیز پر آزادانہ نقل یہ ظاہر کرے گی کہ آیا یہ طریقہ کار عام ہے یا ان معاملات کے مطابق ہے۔
اس چیک کے لیے دستیابی اہمیت رکھتی ہے۔ فہرست میں متعلقہ Zenodo DOI اور TeX ذریعہ شامل ہے، لیکن خلاصہ صفحہ جاری کردہ کوڈ، مداخلت کے سیٹ یا لاگ ان پیمائش کی وضاحت نہیں کرتا ہے۔ پیمائش کے ڈیزائن کے دعوے کو دوبارہ پیش کرنے کے لیے عین مداخلت کے خاندان اور بنیاد کی ضرورت ہوتی ہے، کیونکہ کاغذ کا اپنا Tracr نتیجہ کہتا ہے کہ مطلوبہ خاندان بنیاد پر منحصر ہے۔ قارئین کو یہ بھی نوٹ کرنا چاہئے کہ یہ ایک واحد درج مصنف کے ساتھ ایک ورژن-ایک پری پرنٹ ہے، خلاصہ صفحہ پر کوئی بیان کردہ وابستگی نہیں ہے، اور کوئی جریدہ یا کانفرنس کا مقام نہیں ہے۔ اس کا ہم مرتبہ جائزہ نہیں لیا گیا ہے۔
آخر میں، دیکھیں کہ آیا اس مقالے سے باہر پیشین گوئی کا معیار لیا گیا ہے۔ تشریح کی صلاحیت نے متعدد مجوزہ تشخیصی مضامین جمع کیے ہیں — وفاداری کی پیمائش، کازل اسکربنگ، ایبلیشن بیس لائنز — ناہموار اپنانے کے ساتھ۔ اگر اسٹیئرنگ اور مانیٹرنگ پر کام کرنے والے گروپ اپنے سرکٹ کے دعووں کے ساتھ ساتھ ہولڈ آؤٹ مداخلت کی خرابی کی اطلاع دینا شروع کر دیتے ہیں، تو یہ ایک ٹھوس اثر ہوگا چاہے ٹوموگرافی فارملزم خود اس پر گرفت میں آجائے یا نہیں۔ یکساں طور پر دیکھنے کے قابل یہ ہے کہ آیا عصبی ریاست کی ناکامی کے موڈ کو حقیقی زبان کے ماڈل میں ظاہر کیا گیا ہے، جو ایک کھلونا احتیاط کو تشخیص کی ضرورت میں بدل دے گا۔