آئینی AI

آئینی AI: AI فیڈ بیک سے بے ضرریت ایک تربیتی طریقہ پیش کرتی ہے جس میں زیر نگرانی اور کمک سیکھنے کے مراحل ہوتے ہیں۔ آئین تحریری اصولی رہنمائی ہے جو قانونی معاہدے یا ماڈل کے فن تعمیر کے بجائے ردعمل کا جائزہ لینے کے لیے استعمال ہوتا ہے۔ زیر نگرانی مرحلے میں، نظام جوابات پیدا کرتا ہے، منتخب اصولوں کے تحت تنقیدیں تیار کرتا ہے، اور ان جوابات پر نظر ثانی کرتا ہے۔ اس کے بعد ماڈل کو نظر ثانی شدہ جوابات پر ٹھیک کیا جاتا ہے۔ مسودے پر تنقید کرنا اور نظرثانی سے تربیت مختلف کام ہیں: سابقہ ​​مثالیں تخلیق کرتا ہے، جبکہ مؤخر الذکر ماڈل کے پیرامیٹرز کو تبدیل کرتا ہے۔ کمک سیکھنے کے مرحلے میں، ایک ماڈل اصولوں کے مطابق جوابی جوڑوں کا موازنہ کرتا ہے اور AI ترجیحی ڈیٹا تخلیق کرتا ہے۔ ایک سیکھا ہوا ترجیحی ماڈل پھر کمک سیکھنے کے لیے انعامی سگنل فراہم کرتا ہے۔ یہ بیان کردہ طریقہ کار کا RLAIF جزو ہے، ہر ممکنہ انسانی تربیتی سگنل کو تبدیل کرنے کی ہدایت نہیں۔ اصل تجربات انسانی مدد کے موازنہ کو برقرار رکھتے ہیں جبکہ انسانی بے ضرریت کے لیبلز کو AI سے تیار کردہ فیڈ بیک سے بدل دیتے ہیں۔ لوگ اصولوں کا انتخاب بھی کرتے ہیں اور نتائج کا اندازہ بھی لگاتے ہیں۔ تحریری رہنمائی مطلوبہ اقدار کا معائنہ کرنا آسان بنا سکتی ہے، لیکن ہر سیکھی ہوئی داخلی ترجیح کو ظاہر نہیں کر سکتی یا یہ ثابت نہیں کر سکتی کہ ہر آؤٹ پٹ ان اقدار کی پیروی کرتا ہے۔ اکیلے دستاویز میں ترمیم کرنے سے پہلے سے محفوظ شدہ ماڈل کی دوبارہ تربیت نہیں ہوتی ہے۔ ایک متعلقہ تربیت یا رن ٹائم کے عمل کو درحقیقت تبدیل شدہ رہنمائی کا استعمال کرنا چاہیے۔ Anthropic کا بعد میں مخصوص بمقابلہ عمومی اصولوں کا مطالعہ خاص ڈائیلاگ ماڈل تجربات میں وسیع اور تفصیلی رہنمائی کا موازنہ کرتا ہے۔ اس کے نتائج کا مطلب یہ نہیں ہے کہ ایک مختصر اصول قابل اعتماد طریقے سے ہر اصولی تنازعہ کو حل کرتا ہے۔ ہر موجودہ Claude ماڈل کی مکمل تفصیل کے طور پر علاج کرنے کے بجائے تاریخی طریقوں اور اصولوں کی شناخت ان کے ورژن سے کی جانی چاہیے۔