مطالعہ سے پتہ چلتا ہے کہ سومی کمک سیکھنے سے حفظ شدہ نجی ڈیٹا کے لینگویج ماڈل کے رساو میں اضافہ ہو سکتا ہے۔

کیا ہوا؟

محققین رینفی ژانگ اور نیلوفر میرش اللہ نے رپورٹ کیا ہے کہ بے نظیر حقائق پر مبنی اعداد و شمار پر قابل تصدیق انعامات کے ساتھ کمک سیکھنے نے انسٹرکٹر ماڈل کے ذریعے پہلے سے ہی یاد کردہ ذاتی طور پر قابل شناخت معلومات تک رسائی میں اضافہ کیا۔ DeepSeek-V3.1 پر ٹیسٹوں میں، verbatim recall@k 0.155 سے 0.370 تک بڑھ گیا، جو کہ 2.4 گنا اضافہ ہے۔

رپورٹ شدہ پیٹرن ماڈل کے سائز کے ساتھ بھی مختلف تھا۔ 8 بلین سے 671 بلین پیرامیٹرز کے تین ماڈلز میں، مصنفین کا کہنا ہے کہ سب سے بڑے ماڈل میں مطلق رساو سب سے زیادہ تھا۔ یہ موازنہ بیان کرتا ہے کہ مطالعہ میں جانچے گئے ماڈلز میں رپورٹ شدہ نتیجہ کس طرح مختلف تھا۔ یہ مرکزی نتیجہ کو تبدیل نہیں کرتا ہے یا الگ پیمائش کا اضافہ نہیں کرتا ہے۔ موازنہ میں ماڈلز کو تجربے کے مصنفین کے اکاؤنٹ کے حصے کے طور پر پیش کیا گیا ہے، جس میں سائز کی حد اس موازنہ کے لیے بیان کردہ پیمانہ فراہم کرتی ہے۔ ایک ہی وقت میں، الفاظ مکمل رساو اور اس وسیع تر سوال کے درمیان فرق کو محفوظ رکھتے ہیں کہ کس طرح کمک سیکھنے نے حفظ شدہ معلومات تک رسائی کو متاثر کیا۔

ایک ہی وقت میں، ماڈلز نے مطالعہ کی تشخیص میں اپنی استدلال کی صلاحیتوں اور انکار کی شرح کو برقرار رکھا۔ مصنفین اس امتزاج کی تشریح اس ثبوت کے طور پر کرتے ہیں کہ کمک سیکھنے نے ماڈلز کے طرز عمل کو وسیع پیمانے پر تبدیل کرنے کے بجائے حفظ کی معلومات تک رسائی کو منتخب طور پر تبدیل کیا۔ مطالعہ کی تفصیل میں، اس وجہ سے قابل رسائی میں اضافہ کی اطلاع برقرار کارکردگی اور انکاری رویے کے ساتھ ظاہر ہوتی ہے۔ نقطہ یہ نہیں ہے کہ ماڈلز کا ہر پہلو بدل گیا ہے، لیکن یہ کہ اطلاع دی گئی رازداری سے متعلق نتیجہ تبدیل ہوا جب کہ حوالہ جات کو برقرار رکھا گیا۔ یہ وہ مخصوص امتزاج ہے جسے مصنفین اس بات کی نشاندہی کرتے وقت استعمال کرتے ہیں کہ تجربات میں کمک سیکھنے کے عمل نے کیا کیا۔

مکمل تربیتی سیٹ اپ، تشخیص کے نمونے کے سائز یا تینوں ماڈلز کی صحیح شناخت کا آزادانہ طور پر جائزہ لینے کے لیے ماخذ یہاں کافی تفصیل فراہم نہیں کرتا ہے۔ یہ حد موازنہ کی تشریح کے لیے ماخذ میں دستیاب تفصیل کی سطح پر لاگو ہوتی ہے۔ رپورٹ کردہ ماڈل سائز پیٹرن، برقرار استدلال کی قابلیت اور انکار کی شرح، اور مصنفین کی تشریح سبھی مسودے میں بیان کی گئی ہیں۔ گمشدہ معلومات کا مطلب ہے کہ اکاؤنٹ آزادانہ طور پر سیٹ اپ یا تشخیص کے بارے میں بتائی گئی اضافی تفصیلات کو قائم نہیں کرتا ہے۔ اس وجہ سے ماخذ کی غیر حل شدہ تفصیلات کو مرئی رکھتے ہوئے اس کی بیان کردہ پیمائش اور تشریح کے ساتھ نتیجہ کی اطلاع دی جا سکتی ہے۔

ماخذ کی تفصیلات: arxiv.org ↗

یہ کیوں اہمیت رکھتا ہے۔

تلاش سے پتہ چلتا ہے کہ ماڈل فائن ٹیوننگ کے دوران رازداری کا خطرہ تبدیل ہو سکتا ہے یہاں تک کہ جب نئے تربیتی ڈیٹا میں کوئی ذاتی معلومات نہ ہوں۔ ایک ماڈل اپنی استدلال کی کارکردگی اور انکاری رویے کو برقرار رکھ سکتا ہے جبکہ یادداشت شدہ نجی ڈیٹا کو منظر عام پر لانے کا زیادہ امکان بن جاتا ہے۔

یہ مطالعہ رازداری کے اشارے کے طور پر انکار کی شرحوں اور عام صلاحیت کے ٹیسٹ کے استعمال کو بھی پیچیدہ بناتا ہے۔ مصنفین نے رپورٹ کیا ہے کہ رساو میں اضافہ ہونے کے دوران انکار کی شرح اور استدلال کی صلاحیتوں کو برقرار رکھا گیا تھا۔ ایک ساتھ پڑھیں، وہ بیانات وسیع قابلیت یا انکاری جانچ اور حفظ شدہ معلومات کی رسائی کے ذریعے ماپا جانے والے رویے کے درمیان مماثلت کو بیان کرتے ہیں۔ مطالعہ کی طرف سے دعوی کردہ اہمیت اس بقائے باہمی سے نکلتی ہے: حوالہ شدہ چیکس نے استدلال یا انکار کے رویے کے متعلقہ نقصان کو ظاہر نہیں کیا یہاں تک کہ اطلاع شدہ رساو کی پیمائش میں اضافہ ہوا ہے۔ اس لیے تشویش اس بات کی ہے کہ ان چیکوں سے کیا چیز ناپید رہ سکتی ہے۔

اس سے پتہ چلتا ہے کہ ایک ماڈل وسیع حفاظت یا کارکردگی کی جانچ پڑتال پر مستحکم دکھائی دے سکتا ہے جب کہ اپنے پیرامیٹرز میں سرایت شدہ معلومات کو ظاہر کرنے کے لئے زیادہ تیار یا قابل ہو جاتا ہے۔ بیان کو رپورٹ شدہ تلاش سے ایک تجویز کے طور پر تیار کیا گیا ہے، نہ کہ اس دعوے کے طور پر کہ ہر ماڈل یا تعینات نظام اس طرح برتاؤ کرتا ہے۔ یہ اس بات کی نشاندہی کرتا ہے کہ رپورٹ شدہ نتیجہ تشخیص کے لیے کیوں اہمیت رکھتا ہے: چیک کے ایک سیٹ میں مستحکم نظر آنے والے نتائج حفظ شدہ ڈیٹا تک رسائی پر مختلف نتائج کے ساتھ ایک ساتھ رہ سکتے ہیں۔ مطالعہ کی مطابقت عام کارکردگی، انکاری رویے اور مصنفین کے بیان کردہ مخصوص رساو کے نتائج کے درمیان اس ممکنہ علیحدگی سے ہوتی ہے۔

یہ تلاش نتیجہ خیز ہے، لیکن یہ اس کے مصنفین کے بیان کردہ تجربات کا پری پرنٹ نتیجہ بنی ہوئی ہے، تمام تعینات کردہ زبان کے ماڈلز میں ظاہری ناکامی نہیں۔ یہ اہلیت اس کی اہمیت کو برقرار رکھتے ہوئے دعوے کے دائرہ کار کو محدود کرتی ہے۔ مسودہ نتیجہ کو ثبوت کے طور پر پیش نہیں کرتا ہے کہ تمام تعینات کردہ نظاموں کا رویہ ایک جیسا ہے۔ یہ پری پرنٹ کی تلاش پیش کرتا ہے، مصنفین نے اپنے تجربات میں کیا مشاہدہ کیا اس کی رپورٹ کرتا ہے، اور ان مشاہدات کے بعد آنے والے رازداری کے مضمرات کی نشاندہی کرتا ہے۔ تمام متعین کردہ زبان کے ماڈلز میں نتیجہ خیز نتیجہ اور ظاہر شدہ ناکامی کے درمیان فرق تلاش کے مناسب سیاق و سباق کا حصہ ہے۔

آگے کیا دیکھنا ہے۔

نتیجہ کو مزید ماڈلز، تربیتی طریقوں، ڈیٹاسیٹس اور رازداری کے حملوں میں جانچنے کی ضرورت ہے۔ اہم نامعلوم میں یہ شامل ہے کہ اثر کس قدر وسیع پیمانے پر عام ہوتا ہے، آیا تعینات کیے گئے سسٹمز ایک ہی خطرے سے دوچار ہیں، اور کون سے حفاظتی اقدامات حفظ شدہ معلومات تک رسائی میں تبدیلی کا پتہ لگا سکتے ہیں یا اسے روک سکتے ہیں۔

عوامی اثر اب بھی غیر یقینی ہے کیونکہ ذریعہ یہ نہیں دکھاتا ہے کہ کسی تعینات سروس نے اس طریقہ کار کے ذریعے نجی ڈیٹا کو لیک کیا ہے۔ یہ غیر یقینی صورتحال پری پرنٹ اور حقیقی دنیا کی خدمت کے رویے میں بیان کردہ تجربات کے درمیان فاصلے سے متعلق ہے۔ اطلاع شدہ طریقہ کار میں سومی کمک سیکھنے کے بعد حفظ شدہ نجی ڈیٹا تک رسائی شامل ہے، لیکن ذریعہ اس کی وجہ سے تعینات سروس واقعہ نہیں دکھاتا ہے۔ اس مظاہرے کی عدم موجودگی رپورٹ شدہ نتیجہ کو ختم نہیں کرتی ہے۔ یہ اس بات کی وضاحت کرتا ہے کہ اس کے عوامی اثرات پر غور کرتے وقت کیا حل طلب رہ جاتا ہے۔ اس لیے مسودہ تجرباتی تلاش کو مشاہدہ شدہ سروس کی ناکامی کے دعوے سے الگ رکھتا ہے۔

اس میں یہ بھی واضح نہیں ہے کہ کتنی بے نظیر تربیت کی ضرورت ہے، آیا اثر کو تبدیل کیا جا سکتا ہے، یا کون سے کنٹرولز مفید صلاحیتوں کو نقصان پہنچائے بغیر قابل اعتماد طریقے سے نکالنے کو روکیں گے۔ یہ اطلاع شدہ اثر کی شرائط، الٹ جانے اور تخفیف کے بارے میں نامعلوم بتائے گئے ہیں۔ ان کی اہمیت ہے کیونکہ ذریعہ اس بات کا تعین کرنے کے لیے درکار معلومات فراہم نہیں کرتا ہے کہ مختلف مقداروں کی تربیت یا کوشش کی گئی حفاظتی تدابیر کے تحت رسائی میں تبدیلی کیسا برتاؤ کرے گا۔ الفاظ مسودے میں شناخت شدہ تجارت کو بھی محفوظ رکھتے ہیں: مفید صلاحیتوں کو پہنچنے والے نقصان سے گریز کرتے ہوئے کنٹرولز کو نکالنے کو روکنے کی ضرورت ہوگی۔ یہاں کوئی اضافی حد، الٹنے کا طریقہ یا کنٹرول فراہم نہیں کیا گیا ہے۔

ان نامعلوم افراد کو بنیادی نتیجہ کو مدنظر رکھتے ہوئے کاغذ کے مخالف مضمرات کو مدنظر رکھنا چاہئے: مصنفین کے مطابق، وہ تربیت جو کبھی بھی نجی ڈیٹا کو نہیں چھوتی ہے، اس کے باوجود اس بات کو تبدیل کر سکتی ہے کہ حفظ کرنے والا نجی ڈیٹا کس طرح قابل رسائی ہے۔ احتیاط اور بنیادی نتیجہ ایک ساتھ تعلق رکھتے ہیں۔ عوامی اثرات، تربیت کے تقاضوں، الٹنے کی صلاحیت اور کنٹرول کے بارے میں غیر یقینی صورتحال اس بات کو محدود کرتی ہے کہ اثر کو کس حد تک وسیع پیمانے پر لاگو کیا جانا چاہیے۔ ایک ہی وقت میں، مصنفین کا رپورٹ کردہ دعویٰ دیکھنے کا مرکزی نقطہ ہے: بے نظیر تربیتی ڈیٹا جس میں کوئی ذاتی معلومات نہیں ہے، اب بھی کسی ماڈل کے ذریعہ پہلے سے حفظ شدہ نجی معلومات تک رسائی کو تبدیل کر سکتا ہے۔ مسودہ اس دعوے کو مصنفین کے اکاؤنٹ سے آگے نہیں بڑھاتا ہے۔

متعلقہ گائیڈز اور کوئزز