کیا ہوا؟
23 اگست کو arXiv کو جمع کرایا گیا ایک مقالہ رپورٹ کرتا ہے کہ ایک سروے کا پتہ لگانے والا چینل AION-1 کے نتائج پر فلکیاتی تصویر کے اعداد و شمار سے زیادہ اثر ڈال سکتا ہے جس کی تشریح کرنا ہے۔ مصنفین کا کہنا ہے کہ تصویری ٹوکن کو بائٹ یکساں رکھنے کے باوجود صرف سروے کے سیگمنٹیشن میپ میں ترمیم کرنے سے رپورٹ شدہ بہاؤ، سائز، بیضوی اور ریڈ شفٹ میں تبدیلی آئی۔
اس مقالے میں AION-1 کا جائزہ لیا گیا ہے، جسے اس کے مصنف نے 200 ملین سے زائد فلکیاتی اشیاء پر تربیت یافتہ 39-موڈیلیٹی ٹرانسفارمر کے طور پر بیان کیا ہے۔ اس کا مرکزی تجربہ ماڈل کے آدانوں پر کارآمد مداخلتوں کا استعمال کرتا ہے: تصویری ٹوکنز بائٹ یکساں ہوتے ہیں جبکہ صرف سروے کے سیگمنٹیشن میپ میں ترمیم کی جاتی ہے۔ مقالے میں بتایا گیا ہے کہ یہ تبدیلی ٹیسٹ شدہ ہر مقدار کو تبدیل کر دیتی ہے — فلوکس، سائز، بیضوی اور ریڈ شفٹ — ایک مماثل پلیسبو کو 110 سے 4,400 گنا تک۔ یہ کاغذ کے ذریعہ رپورٹ کردہ نتائج ہیں، آزادانہ طور پر تصدیق شدہ نتائج نہیں ہیں۔
اطلاع شدہ طریقہ کار پتہ لگانے کے گیٹنگ ہے۔ مقالے میں کہا گیا ہے کہ ماڈل کا طرز عمل اس بات کا پتہ لگاتا ہے کہ آیا فیلڈ سنٹر میں r = 0.47 کی اطلاع شدہ ارتباط کے ساتھ، ماسک کے ذریعے بند روشنی سے زیادہ مضبوطی کے ساتھ، جس میں r = 0.30 ہے، کا پتہ لگانا موجود ہے۔ 322 حقیقی مرکبات کے ایک سیٹ میں، مصنفین نے رپورٹ کیا ہے کہ ماڈل نے بڑی حد تک نظر انداز کیا کہ پائپ لائن نے روشنی کو R = -0.006 کے ساتھ کیسے تقسیم کیا۔ مقالے میں یہ بھی کہا گیا ہے کہ متضاد کیٹلاگ فوٹوومیٹری نے ماڈل کو بالکل بھی میٹا ڈیٹا کی فراہمی سے نو گنا بدتر چھوڑ دیا۔
کاغذ ماڈل کے رویے کو سروے کے اعداد و شمار میں گمشدہ کھوجوں سے جوڑتا ہے۔ یہ رپورٹ کرتا ہے کہ لیگیسی سروے پائپ لائن 3.68% اہداف کو بغیر کسی طبقے کے چھوڑ دیتی ہے جو ان کی پوزیشن کا احاطہ کرتا ہے۔ جب اس شرح کو 40 اسائنمنٹس کے ذریعے پھیلایا گیا تو مصنفین ٹوموگرافک میڈین ریڈ شفٹ میں LSST DESC کی ضرورت کے 0.71 گنا کے برابر ہونے کی اطلاع دیتے ہیں، 12 اسائنمنٹس میں اس ضرورت سے زیادہ شفٹ کے ساتھ۔ مسز کی یکساں طور پر ڈرائنگ کرنے کے بجائے ان کی پیمائش شدہ شدت انحصار کو استعمال کرنے سے رپورٹ شدہ نتیجہ تبدیل نہیں ہوا۔
کئی تکنیکی حدود بھی بیان کی گئی ہیں۔ مقالے میں کہا گیا ہے کہ سپیکٹروسکوپی اثر کو ہٹا دیتی ہے، جبکہ پتہ لگانے والے چینل کو روکنے سے اسے کسی قابل پیمائش قیمت کے بغیر ہٹا دیا جاتا ہے، اور یہ کہ اثر ماڈل پیمانے کے ساتھ بڑھتا ہے۔ یہ رپورٹ کرتا ہے کہ امیج کوڈیک ماخذ پیچ پر 28 موثر حالتوں کو حل کرتا ہے، اس کے مقابلے میں اسپیکٹرم کوڈیک کے لیے 934 ہے، اور یہ کہ ریڈ شفٹ ریڈ آؤٹ مقدار کے لحاظ سے محدود ہے۔ اس میں یہ بھی خبردار کیا گیا ہے کہ ویرل لغات ناقابل اعتبار کازل ہینڈل ہیں: ریکوری 26% سے 75% تک ہوتی ہے اور بے ترتیب بیج کے لحاظ سے 18 فیصد پوائنٹس تک بڑھ جاتی ہے۔
یہ کیوں اہمیت رکھتا ہے۔
تلاش سائنسی AI کے لیے ممکنہ طور پر نتیجہ خیز ناکامی کے موڈ کی نشاندہی کرتی ہے: ایک ماڈل بنیادی طور پر بنیادی مشاہدات پر انحصار کرنے کے بجائے کیٹلاگ اور پتہ لگانے والی پائپ لائنوں سے منظم غلطیوں کو وراثت میں لے سکتا ہے۔ مقالے میں بتایا گیا ہے کہ پیمائش شدہ غلطی کی شرح کا نقلی پروپیگنڈہ سروے کے تجزیہ میں استعمال ہونے والی ٹوموگرافک مطلب ریڈ شفٹ کو مادی طور پر تبدیل کر سکتا ہے۔
کاغذ کی وسیع تر اہمیت یہ ہے کہ سائنسی پیمائش کے لیے استعمال ہونے والا AI سسٹم ڈیٹا پروسیسنگ کے فیصلے کو آبجیکٹ کے بارے میں ثبوت کے طور پر دیکھ سکتا ہے۔ سیگمنٹیشن کا نقشہ ایک اخذ کردہ پروڈکٹ ہے جو پتہ چلا یا الگ کیے گئے ذرائع کی نشاندہی کرتا ہے۔ رپورٹ کردہ تجربات سے پتہ چلتا ہے کہ AION-1 اس سگنل کو گیٹ کے طور پر استعمال کر سکتا ہے کہ آیا یہ پکسلز کا تجزیہ کرتا ہے یا نہیں۔ اگر نقل کیا جاتا ہے، تو یہ سروے پائپ لائن کو ماڈل کے مؤثر پیمائش کے نظام کا حصہ بنا دے گا، یہاں تک کہ جب محققین کا خیال ہے کہ وہ ماڈل سے مشاہدات کی تشریح کرنے کو کہہ رہے ہیں۔
ٹوموگرافک مطلب ریڈ شفٹس اس بات کا مجموعی تخمینہ ہیں کہ ریڈ شفٹ ڈبوں میں اشیاء کو کس طرح تقسیم کیا جاتا ہے۔ مقالے میں بتایا گیا ہے کہ ماڈل کے رویے کے ساتھ مل کر 3.68% مسنگ سیگمنٹ ریٹ ان مجموعوں کو بیان کردہ LSST DESC کی ضرورت کے کافی حصے سے اور بعض اوقات اس سے آگے بھی منتقل کر سکتا ہے۔ عملی تشویش نہ صرف یہ ہے کہ انفرادی پیشین گوئیاں غلط ہو سکتی ہیں بلکہ یہ کہ بار بار پائپ لائن سے منسلک غلطی آبادی کی سطح کے سائنسی نتائج میں پھیل سکتی ہے۔
نتیجہ ملٹی موڈل فاؤنڈیشن ماڈلز کے بارے میں ایک عام مفروضے کو بھی چیلنج کرتا ہے: مزید چینلز کا اضافہ خود بخود سسٹم کو زیادہ مضبوط یا زیادہ باخبر نہیں بناتا ہے۔ یہاں، کاغذ رپورٹ کرتا ہے کہ متضاد کیٹلاگ فوٹوومیٹری میٹا ڈیٹا کو مکمل طور پر ہٹانے سے زیادہ نقصان دہ ہو سکتا ہے۔ اس کا پتہ لگانا کہ پتہ لگانے والے چینل کو روکنا رپورٹ شدہ ٹیسٹوں میں قابل پیمائش کارکردگی کی کوئی قیمت نہیں ہے ایک ممکنہ طور پر آسان تخفیف کی طرف اشارہ کرتا ہے، حالانکہ ماخذ اس بات کا تعین نہیں کرتا ہے کہ آیا یہ تجارت ہر کام یا آپریٹنگ حالت کے لیے ہے۔
کاغذ کا ثبوت خاص طور پر متعلقہ ہے کیونکہ یہ صرف لیبلز کے خلاف پیشین گوئیوں کا موازنہ کرنے کے بجائے کنٹرول شدہ مداخلتوں کا استعمال کرتا ہے۔ تصویری ٹوکنز کو محفوظ رکھتے ہوئے ایک ان پٹ چینل کو تبدیل کر کے، مصنفین وجہ اثر کو الگ کرنے کی کوشش کرتے ہیں۔ یہ نقطہ نظر بذات خود یہ ثابت نہیں کرتا کہ AION-1 ہر فلکیاتی کام کے بہاؤ میں ناکام ہو جائے گا، لیکن یہ آڈٹ کرنے کا ایک ٹھوس طریقہ پیش کرتا ہے کہ آیا ماڈل ان پٹ جسمانی معلومات، پیمائش کے نمونے یا اپ اسٹریم سافٹ ویئر میں سرایت شدہ مفروضوں کی عکاسی کرتے ہیں۔
انٹرایکٹو میکانزم: یہ اصل میں کیسے کام کرتا ہے۔
اس ترقی کے پیچھے بنیادی ٹیکنالوجی کو انٹرایکٹو طریقے سے دریافت کریں۔
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
آگے کیا دیکھنا ہے۔
نتیجہ ایک واحد arXiv v1 پیپر سے آتا ہے اور اسے ماڈلز، سروے اور ڈیٹا پروسیسنگ پائپ لائنوں میں آزاد نقل کی ضرورت ہوتی ہے۔ فالو اپ کام کو یہ جانچنا چاہئے کہ آیا ودہولڈنگ ڈیٹیکشن میٹا ڈیٹا سائنسی کارکردگی کو محفوظ رکھتا ہے، آیا رپورٹ شدہ اثر آپریشنل سسٹمز میں ظاہر ہوتا ہے، اور ریڈ شفٹ کوانٹائزیشن اور ٹوکنائزیشن کی حدیں نتائج کو کتنا متاثر کرتی ہیں۔
فوری سوال نقل ہے۔ ماخذ ایک مصنف کے ایک ماڈل کے آڈٹ کی وضاحت کرتا ہے اور ہم مرتبہ جائزہ، آزادانہ تجزیے یا دیگر فلکیاتی بنیادوں کے ماڈلز کے نتائج کی اطلاع نہیں دیتا ہے۔ محققین کو مختلف سروے، سیگمنٹیشن پائپ لائنز اور ماڈل آرکیٹیکچرز پر یکساں مداخلتوں کی جانچ کرنی چاہیے، بشمول کیٹلاگ پروڈکٹس کے بغیر تربیت یافتہ نظام یا واضح پرویننس اور گمشدہ ڈیٹا انڈیکیٹرز کے ساتھ۔
اطلاع دی گئی تخفیف کا بھی بغور جائزہ لیا جانا چاہیے۔ پتہ لگانے والے چینل کو روکنے سے کاغذ کے ٹیسٹوں میں ناپے ہوئے اثر کو بغیر کسی قابل پیمائش لاگت کے ہٹا دیا گیا، لیکن ماخذ اس موازنہ کے ارد گرد مکمل ٹاسک سوٹ، تشخیصی نمونہ یا غیر یقینی صورتحال کی وضاحت نہیں کرتا ہے۔ فالو اپ اسٹڈیز کو اس بات کا تعین کرنا چاہیے کہ آیا چینل کو ہٹانے سے نایاب اشیاء، ہجوم والے فیلڈز، بیہوش ذرائع یا ایسے کام متاثر ہوتے ہیں جو آڈٹ میں شامل نہیں ہیں۔
ریڈ شفٹ کے نتیجے کو آپریشنل توثیق کی ضرورت ہے۔ یہ مقالہ 40 اسائنمنٹس کے ذریعے رپورٹ شدہ گمشدہ طبقے کی شرح کی تشہیر کرتا ہے اور اس کے نتیجے میں ہونے والی شفٹوں کا LSST DESC کی ضرورت سے موازنہ کرتا ہے، لیکن ماخذ یہ نہیں کہتا ہے کہ ان تبدیلیوں کو تعینات سروے کے تجزیہ میں دیکھا گیا ہے۔ آزاد ٹیموں کو تفویض کے طریقہ کار کو دوبارہ پیش کرنا چاہیے، اعتماد کے وقفوں کی مقدار کا تعین کرنا چاہیے اور یہ جانچنا چاہیے کہ آیا حقیقی سروے کے مشاہدات آبادی کی سطح پر ایک ہی تعصب کو ظاہر کرتے ہیں۔
مزید کام کو پتہ لگانے کے میٹا ڈیٹا پر ماڈل کے انحصار کو اس کی ٹوکنائزیشن اور آؤٹ پٹ نمائندگی کی حدود سے الگ کرنا چاہئے۔ پیپر رپورٹ کرتا ہے کہ امیج پیچ میں اسپیکٹرم پیچ کے مقابلے بہت کم موثر کوڈیک اسٹیٹس ہوتے ہیں اور ریڈ شفٹ ریڈ آؤٹ مقدار کے لحاظ سے محدود ہے۔ یہ واضح نہیں ہے کہ ہر ایک حد سرخی کے اثر میں کتنا حصہ ڈالتی ہے، آیا اسکیلنگ کارکردگی کو مسلسل خراب کرتی ہے، اور آیا متبادل ٹوکنائزرز یا ریڈ آؤٹ نتائج کو تبدیل کرتے ہیں۔