کیا ہوا؟
محققین رچرڈ کارنیلیئس سوانڈی اور فینگ ین نے 25 اگست کو جمع کرائے گئے arXiv پری پرنٹ میں، گراڈینٹ ریفائنمنٹ اور پروگریس آویئر ایکسپلوٹیشن کے لیے مختصر، GRAPE متعارف کرایا۔ یہ طریقہ مہنگے، اعلیٰ جہتی بلیک باکس کی اصلاح کے لیے ڈیزائن کیا گیا ہے، جہاں ایک اصلاح کار کو براہ راست کارکردگی کو بہتر بنانے کے بجائے حد سے زیادہ کارکردگی کو بہتر بنانا چاہیے۔ مرضی کے مطابق
پری پرنٹ اعلی جہتی بلیک باکس آپٹیمائزیشن میں ایک مخصوص مسئلے کی نشاندہی کرتا ہے: موجودہ مقامی بایسیئن اصلاح کے طریقے ان سمتوں کے حق میں ہو سکتے ہیں جن سے مقصد کو بہتر بنانے کا امکان ہے لیکن صرف بہت کم فائدہ ہوتا ہے۔ کاغذ کی تشکیل میں، یہ قدامت پسندانہ چالوں پر محدود سوالات کو ضائع کر سکتا ہے۔ استفسارات اہم ہیں کیونکہ فنکشن کو آپٹمائز کیا جا رہا ہے اسے مہنگا قرار دیا گیا ہے، یعنی ہر تشخیص ایک اہم کمپیوٹیشنل یا عملی لاگت لے سکتی ہے۔
GRAPE مسئلہ کو دو مراحل میں حل کرتا ہے۔ سب سے پہلے، یہ ایک مقامی گراڈینٹ پوسٹرئیر کو اس کا استعمال کرتے ہوئے بہتر کرتا ہے جسے مصنفین بند فارم کے حصول کے فنکشن کے طور پر بیان کرتے ہیں۔ یہاں ایک پس منظر بہتری کی مقامی سمت کے بارے میں طریقہ کار کی غیر یقینی صورتحال کی نمائندگی کرتا ہے۔ دوسرا، GRAPE نزول پر مشروط متوقع کمی کو زیادہ سے زیادہ کرکے ایک اپ ڈیٹ سمت کا انتخاب کرتا ہے۔ اس کا مقصد ایسے اقدامات کی حمایت کرنا ہے جن سے نہ صرف مدد کا امکان ہے، بلکہ بامعنی پیش رفت کا امکان زیادہ ہے۔
کاغذ دو نظریاتی خصوصیات کی رپورٹ کرتا ہے. اس کا کہنا ہے کہ تدریجی تطہیر کا مرحلہ یکطرفہ طور پر مقامی غیر یقینی صورتحال کو کم کرتا ہے، اور یہ کہ پیش رفت سے آگاہ سمت حقیقی تیز ترین نزول کی طرف متوجہ ہوتی ہے کیونکہ پس منظر تیز ہوتا جاتا ہے۔ یہ مصنفین کے نظریاتی تجزیے کے دعوے ہیں۔ فراہم کردہ ذریعہ ثبوت، اس کے مفروضات، یا وہ شرائط فراہم نہیں کرتا ہے جن کے تحت کنورجنسی بیان کا اطلاق ہوتا ہے۔
رپورٹ کردہ تجربات میں کم از کم دو AI سے متعلقہ ترتیبات کا احاطہ کیا گیا ہے۔ بلیک باکس مخالف حملوں میں، مصنفین کا کہنا ہے کہ گریپ نے بیس لائن طریقوں سے اوسطاً 5.4 گنا رفتار حاصل کی۔ بڑے لینگویج ماڈل پرامپٹ آپٹیمائزیشن میں، وہ دوسرے بہترین طریقہ کے مقابلے میں حتمی اوسط افسوس میں 3.8-لاگ-یونٹ کمی کی اطلاع دیتے ہیں۔ خلاصہ ان موازنوں میں استعمال ہونے والے ماڈلز، حملے کے اہداف، فوری کاموں، سوالات کے بجٹ، ڈیٹا سیٹس، ہارڈ ویئر، یا عین مسابقتی طریقوں کی شناخت نہیں کرتا ہے۔
یہ کیوں اہمیت رکھتا ہے۔
اگر رپورٹ شدہ فوائد مصنفین کے تجربات سے آگے ہیں، تو GRAPE AI سسٹمز کو ٹیوننگ کرنے اور ان کی کمزوریوں کی جانچ پڑتال کی لاگت کو کم کر سکتا ہے۔ اس مقالے میں بلیک باکس مخالف حملوں کے لیے بیس لائنوں کے مقابلے میں اوسطاً 5.4-گنا رفتار اور بڑے لینگویج ماڈل پرامپٹ-آپٹیمائزیشن کے کاموں پر حتمی اوسط افسوس میں 3.8-لاگ-یونٹ کی کمی کی اطلاع دی گئی ہے۔
عملی مسئلہ وسائل کا استعمال ہے۔ بہت سے AI کی ترقی اور تشخیص کے کاموں کو بار بار ٹرائلز کی ضرورت ہوتی ہے: ایک اصلاح کار تبدیلی کی تجویز کرتا ہے، ایک مبہم نظام سے استفسار کرتا ہے، نتیجہ کا مشاہدہ کرتا ہے، اور دوسری تبدیلی کی تجویز پیش کرتا ہے۔ ایک طریقہ جو کم تشخیصات کے ساتھ موازنہ یا بہتر مقصد تک پہنچتا ہے ان کام کے بہاؤ کے وقت اور لاگت کو کم کر سکتا ہے۔ اس لیے کاغذ کا فوکس براہ راست اس بات سے جڑا ہوا ہے کہ AI سسٹم کو کس طرح ٹیون اور ٹیسٹ کیا جاتا ہے، بجائے اس کے کہ AI کو متعلقہ ایپلیکیشن سیاق و سباق کے طور پر سمجھا جائے۔
مخالفانہ حملے کا نتیجہ سیکورٹی ٹیسٹنگ اور دفاعی تحقیق دونوں کے لیے ممکنہ طور پر اہم ہے۔ تیز تر بلیک باکس حملوں سے محققین کو ایسے نظاموں میں ناکامی تلاش کرنے میں مدد مل سکتی ہے جو اندرونی میلان یا ماڈل کی تفصیلات کو سامنے نہیں لاتے۔ ایک ہی وقت میں، وہی کارکردگی استحصالی رویے کو دریافت کرنے کی کوشش کرنے والی جماعتوں کے لیے تحقیقات کو قابل رسائی بنا سکتی ہے۔ ذریعہ اطلاع دی گئی رفتار کو قائم کرتا ہے لیکن اس بات کا تعین نہیں کرتا ہے کہ یہ طریقہ حقیقی دنیا کے سیکورٹی رسک کو کس طرح تبدیل کرتا ہے یا آیا یہ تعینات کردہ سسٹمز کے خلاف کامیاب ہوتا ہے۔
فوری اصلاح کا نتیجہ ایک الگ استعمال کی طرف اشارہ کرتا ہے: خود بخود ایسے اشارے تلاش کرنا جو ایک متعین مقصد پر زبان کے ماڈل کی کارکردگی کو بہتر بناتے ہیں۔ نچلا پچھتاوا کاغذ کے تشخیصی سیٹ اپ کے تحت بہتر اصلاح کی نشاندہی کرتا ہے، لیکن خلاصہ اس بات کی وضاحت نہیں کرتا ہے کہ کون سا مقصد استعمال کیا گیا تھا یا اس کے نتیجے میں حقیقت، حفاظت، وشوسنییتا، افادیت، یا کسی اور خاصیت کو بہتر بنانے کا اشارہ ملتا ہے۔ ایک تنگ سکور کے خلاف اصلاح سے ایسے فوائد حاصل ہو سکتے ہیں جو صارف کی وسیع تر ضروریات میں منتقل نہیں ہوتے ہیں۔
یہ کام ایک عمومی اصلاحی شراکت کے طور پر بھی کارآمد ہو سکتا ہے کیونکہ اس کا طریقہ کار صرف زبان کے ماڈلز پر ہی نہیں بلکہ اعلیٰ جہتی بلیک باکس فنکشنز پر بھی لاگو ہوتا ہے۔ تاہم، ذریعہ دو رپورٹ کردہ درخواست کے علاقوں سے باہر فیلڈز کے بارے میں کوئی ثبوت فراہم نہیں کرتا ہے۔ اس سے یہ بھی ثابت نہیں ہوتا ہے کہ یہ طریقہ عالمی طور پر بہتر ہے، کہ حاصلات مساوی سوالات کے بجائے مساوی حساب کے تحت برقرار رہیں، یا یہ کہ اس کے اضافی بعد کے اصلاحی حسابات ان افعال کے مقابلے میں سستے ہیں جنہیں آپٹمائز کیا جا رہا ہے۔
انٹرایکٹو میکانزم: یہ اصل میں کیسے کام کرتا ہے۔
اس ترقی کے پیچھے بنیادی ٹیکنالوجی کو انٹرایکٹو طریقے سے دریافت کریں۔
Which component of an AI application is the machine-learning model itself?
آگے کیا دیکھنا ہے۔
اہم کھلے سوالات ان اعداد و شمار کے پیچھے تجرباتی تفصیلات، استعمال شدہ بنیادی خطوط، ماڈلز اور کاموں کی جانچ کی حد سے متعلق ہیں، اور آیا یہ طریقہ رپورٹ شدہ ترتیبات سے باہر موثر رہتا ہے۔ فراہم کردہ ماخذ میں پری پرنٹ کی آزادانہ طور پر توثیق نہیں کی گئی ہے، اور اس کے دعووں کو مصنفین کے ذریعہ رپورٹ کردہ نتائج کے طور پر سمجھا جانا چاہئے نہ کہ کارکردگی کی قائم کردہ ضمانتوں کے۔
پہلی توثیق کی ترجیح مکمل تجرباتی پروٹوکول ہے۔ قارئین کو کاموں کی تعداد اور قسم، ہر مسئلے کی جہت، استفسار کے بجٹ، روکنے کا معیار، رفتار کی تعریف، اور آیا اوسط بڑے تغیرات کو چھپاتا ہے تلاش کرنا چاہیے۔ جملہ "اوسط 5.4 گنا رفتار" صرف ان تفصیلات کے ساتھ ہی معنی خیز ہے، کیونکہ رفتار کو سوالات، گزرے ہوئے وقت، یا کسی اور مقدار میں ماپا جا سکتا ہے۔
موازنہ سیٹ بھی اہمیت رکھتا ہے۔ ماخذ کا کہنا ہے کہ GRAPE نے بیس لائنز اور دوسرے بہترین طریقہ کار سے بہتر کارکردگی کا مظاہرہ کیا، لیکن اس نے ان طریقوں کو خلاصہ میں نام نہیں دیا۔ فالو اپ تشخیص میں یہ جانچنا چاہئے کہ آیا بنیادی خطوط کو صحیح طریقے سے ٹیون کیا گیا تھا، آیا تمام طریقوں کو موازنہ کمپیوٹیشنل وسائل حاصل ہوئے، اور آیا نتیجہ بے ترتیب بیجوں اور مسائل کے واقعات میں مضبوط ہے۔ آزاد نفاذ یا نقل اکیلے پری پرنٹ سے زیادہ مضبوط ثبوت فراہم کرے گی۔
لینگویج ماڈل کے تجربات کے لیے، کلیدی نامعلوم چیزیں ماڈل کی شناخت، فوری تلاش کی جگہ، کام کا انتخاب، تشخیصی میٹرک، اور ان دیکھے آدانوں میں منتقلی ہیں۔ ایک طریقہ بینچ مارک پر پچھتاوے کو کم کر سکتا ہے جب کہ ایسے اشارے تیار کیے جاتے ہیں جو ٹوٹنے والے، ٹیسٹ سیٹ کے لیے زیادہ فٹ، یا حفاظت کے لیے حساس استعمال کے لیے غیر موزوں ہوں۔ یہ جاننا بھی اہم ہوگا کہ آیا رپورٹ شدہ نتیجہ ماڈل فیملیز پر لاگو ہوتا ہے یا صرف مطالعہ کیے گئے مخصوص نظاموں پر۔
نظریاتی دعوؤں کو ان کے مفروضوں کے ساتھ پڑھنا چاہیے۔ ماخذ یہ نہیں بتاتا ہے کہ مقامی میلان کے پچھلے حصے کو کس حد تک درست طریقے سے متعین کیا جانا چاہیے، طریقہ کس طرح شور یا منقطع مقاصد کے ساتھ برتاؤ کرتا ہے، یا جہت کے بڑھنے کے ساتھ کارکردگی کیسے بدلتی ہے۔ کام کے مستقبل کے ورژن، کوڈ یا ڈیٹا ریلیز، ہم مرتبہ کا جائزہ، اور عملی AI تشخیص اور حفاظتی کام کے بوجھ پر آزاد ٹیسٹ اس بات کا تعین کرنے میں مدد کریں گے کہ آیا GRAPE ایک وسیع پیمانے پر مفید طریقہ ہے یا ایک امید افزا نتیجہ رپورٹ شدہ تجربات تک محدود ہے۔