ওভারভিউ
সাংবিধানিক AI হল Anthropic-এর নীতিমালার লিখিত সেট - একটি 'সংবিধান' - ব্যবহার করে মডেলগুলিকে সারিবদ্ধ করার পদ্ধতি - তাই AI ক্ষতিকারক বিষয়বস্তু লেবেল করার জন্য শুধুমাত্র মানুষের উপর নির্ভর না করে তার নিজস্ব উত্তরগুলির সমালোচনা করে এবং সংশোধন করে৷ এটির লক্ষ্য অনেক কম মানব শ্রম দিয়ে মডেলগুলিকে সহায়ক এবং নিরীহ করে তোলা।
সাংবিধানিক AI হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য ও বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়।
গভীর ডুব
ঐতিহ্যগত সারিবদ্ধতা মানব প্রতিক্রিয়া (RLHF) থেকে শক্তিবৃদ্ধি শিক্ষার উপর নির্ভর করে, যেখানে লোকেরা মডেলকে কী এড়াতে হবে তা শেখানোর জন্য বিরক্তিকর সহ প্রচুর মডেল আউটপুট র্যাঙ্ক করে। সাংবিধানিক AI মডেলটিকে জাতিসংঘের মানবাধিকার ঘোষণা এবং আস্থা-এবং-নিরাপত্তার সর্বোত্তম অনুশীলনের মতো উত্স থেকে প্রাপ্ত লিখিত নীতিগুলির একটি সুস্পষ্ট তালিকা প্রদান করে সেই বোঝা হ্রাস করে৷ প্রশিক্ষণের দুটি ধাপ রয়েছে। প্রথমত, একটি তত্ত্বাবধানে থাকা পর্যায়: মডেলটি একটি প্রতিক্রিয়া তৈরি করে, তারপর এটিকে একটি সাংবিধানিক নীতির বিরুদ্ধে সমালোচনা করে এবং এটিকে আরও ভাল করার জন্য পুনর্লিখন করে; এই স্ব-উন্নত উত্তরগুলি এটিকে সূক্ষ্ম-টিউন করতে ব্যবহৃত হয়। দ্বিতীয়ত, একটি শক্তিবৃদ্ধি-শিক্ষার পর্যায়, আরএলএআইএফ, যেখানে মডেলটি নিজেই সংবিধান অনুসারে জোড়া প্রতিক্রিয়াগুলির র্যাঙ্ক করে এবং সেই AI-উত্পন্ন পছন্দের ডেটা একটি পুরস্কার মডেলকে প্রশিক্ষণ দেয়। নীতিগুলি স্বচ্ছ এবং সম্পাদনাযোগ্য, অস্বচ্ছ মানব লেবেলের মধ্যে লুকিয়ে রাখার পরিবর্তে মডেলটিকে পরিদর্শনযোগ্য করে তোলে।
প্রযুক্তিগত অন্তর্দৃষ্টি
দুটি পর্যায়কে প্রায়ই SL-CAI এবং RL-CAI বলা হয়। তত্ত্বাবধানে শেখার ক্ষেত্রে, একটি 'সমালোচনা-এবং-সংশোধন' লুপ মডেলকে অনুপ্রাণিত করে যেখানে তার নিজস্ব উত্তর একটি নমুনাযুক্ত নীতি লঙ্ঘন করে এবং এটি পুনরায় লিখতে পারে, মানব ক্ষতি-লেবেলিং ছাড়াই প্রশিক্ষণ ডেটা তৈরি করে। RL পর্বে, একটি দ্বিতীয় মডেল বিচার করে যে দুটি প্রতিক্রিয়ার মধ্যে কোনটি সংবিধানকে ভালোভাবে অনুসরণ করে, এআই প্রেফারেন্স লেবেল (RLAIF) তৈরি করে যা স্ট্যান্ডার্ড RL-এ ব্যবহৃত একটি পুরস্কার মডেলকে প্রশিক্ষণ দেয়। সংবিধান হল সরল-পাঠ্য নির্দেশিকা প্রম্পটে ইনজেক্ট করা, তাই মডেলের আচরণ পরিবর্তন করা নীতিগুলি সম্পাদনার মতো সরাসরি হতে পারে।
সাংবিধানিক এআই আয়ত্ত করা
সাংবিধানিক AI হল Anthropic-এর নীতিমালার লিখিত সেট - একটি 'সংবিধান' - ব্যবহার করে মডেলগুলিকে সারিবদ্ধ করার পদ্ধতি - তাই AI ক্ষতিকারক বিষয়বস্তু লেবেল করার জন্য শুধুমাত্র মানুষের উপর নির্ভর না করে তার নিজস্ব উত্তরগুলির সমালোচনা করে এবং সংশোধন করে৷ এটির লক্ষ্য অনেক কম মানব শ্রম দিয়ে মডেলগুলিকে সহায়ক এবং নিরীহ করে তোলা। সাংবিধানিক AI হল ভাষা-এআই স্ট্যাকের অংশ যা পাঠ্য ও বক্তৃতা পাঠ, তৈরি, শ্রেণীবিভাগ এবং রূপান্তর করতে ব্যবহৃত হয়। গভীর বোঝাপড়া তৈরি করতে, সাংবিধানিক এআইকে একটি অপারেটিং মডেল হিসাবে বিবেচনা করুন, একটি একক বৈশিষ্ট্য নয়: পছন্দসই ফলাফলগুলি সংজ্ঞায়িত করুন, অনুমানগুলি স্পষ্ট করুন এবং সিস্টেমটি নির্ভরযোগ্যভাবে কী করতে পারে তা এখনও বিশেষজ্ঞের রায়ের প্রয়োজন থেকে আলাদা করুন৷
অনুশীলনে, শক্তিশালী দলগুলি সাংবিধানিক AI ডিজাইন ব্যবহার করে এক সমন্বিত যোগাযোগ ব্যবস্থা হিসাবে লুপগুলি পুনরুদ্ধার, পুনরুদ্ধার এবং পর্যালোচনা করে। তারা সুস্পষ্ট সাফল্যের মাপকাঠি নথিভুক্ত করে, বাস্তবসম্মত ডেটা এবং কর্মপ্রবাহের বিরুদ্ধে পরীক্ষা করে এবং এককালীন বেঞ্চমার্ক জয়ের পরিবর্তে পর্যবেক্ষিত ব্যর্থতার ধরণগুলির উপর ভিত্তি করে পুনরাবৃত্তি করে। এখানেই তাত্ত্বিক বোঝাপড়া পণ্য, নীতি এবং অপারেশন জুড়ে টেকসই সক্ষমতায় পরিণত হয়।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। একই সময়ে, হ্যালুসিনেটেড ফ্যাক্টগুলি নিঃশব্দে রিপোর্ট, সমর্থন প্রবাহ বা গবেষণা আউটপুট প্রবেশ করতে পারে। সবচেয়ে স্থিতিস্থাপক পদ্ধতি হল প্রশাসনিক শৃঙ্খলার সাথে পরীক্ষার গতিকে একত্রিত করা: পাইলট চালান, প্রমাণ ক্যাপচার করুন, সিদ্ধান্তের লগ প্রকাশ করুন এবং মডেল আচরণ, ব্যবহারকারীর প্রত্যাশা এবং নিয়ন্ত্রক প্রয়োজনীয়তাগুলি বিকশিত হওয়ার সাথে সাথে অবিচ্ছিন্ন সুরক্ষাগুলি আপডেট করুন।
কৌশলগত প্রভাব
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে। উচ্চ-মানের স্থাপনায়, এটি পরিমাপযোগ্য অপারেটিং নিয়ম, মালিকানার সীমানা এবং পুনরাবৃত্ত পর্যালোচনার আচার-অনুষ্ঠানে অনুবাদ করা হয় যাতে দলগুলি অস্পষ্টতার পরিবর্তে আত্মবিশ্বাস বাড়াতে পারে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি চ্যাটবটকে একটি অস্ত্র তৈরিতে সাহায্য করতে প্রত্যাখ্যান করার জন্য প্রশিক্ষণ দেওয়া, এটি একটি ক্ষতি-পরিহার নীতির বিরুদ্ধে তার নিজস্ব খসড়া উত্তরের সমালোচনা করে এবং এটিকে পুনরায় লিখতে
সংবিধান দ্বারা পরিচালিত এআই-জেনারেটেড প্রেফারেন্স ডেটা (RLAIF) দিয়ে বিষাক্ত আউটপুটগুলির ব্যয়বহুল মানব রেড-টিম লেবেল প্রতিস্থাপন করা
একটি মডেল কতটা সতর্ক তা সামঞ্জস্য করার জন্য একটি লিখিত নীতি সম্পাদনা করা, তারপর হাজার হাজার উদাহরণ রিলেবেল না করে আচরণের পরিবর্তন পর্যবেক্ষণ করা
সম্মিলিত ইনপুট অনুশীলন চালানো যেখানে জনসাধারণ এমন নীতি প্রস্তাব করে যা মডেলের সংবিধানকে আকৃতি দেয়
বাস্তবায়ন নিদর্শন
অনুশীলনে সাংবিধানিক এআই
একটি চ্যাটবটকে একটি অস্ত্র তৈরিতে সাহায্য করতে প্রত্যাখ্যান করার জন্য প্রশিক্ষণ দেওয়া এটি একটি ক্ষতি-পরিহার নীতির বিরুদ্ধে তার নিজস্ব খসড়া উত্তরের সমালোচনা করে এবং এটি পুনরায় লিখতে।
একটি চ্যাটবটকে একটি অস্ত্র তৈরিতে সাহায্য করতে প্রত্যাখ্যান করার জন্য প্রশিক্ষণ দেওয়া একটি ক্ষতি-পরিহার নীতির বিরুদ্ধে তার নিজস্ব খসড়া উত্তরের সমালোচনা করে এবং এটি পুনরায় লেখার মাধ্যমে দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ ধরে রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে সাংবিধানিক এআই
সংবিধান দ্বারা নির্দেশিত AI-জেনারেটেড প্রেফারেন্স ডেটা (RLAIF) দিয়ে বিষাক্ত আউটপুটগুলির ব্যয়বহুল হিউম্যান রেড-টিম লেবেল প্রতিস্থাপন করা।
সংবিধান দ্বারা পরিচালিত AI-জেনারেটেড প্রেফারেন্স ডেটা (RLAIF) দিয়ে বিষাক্ত আউটপুটগুলির ব্যয়বহুল হিউম্যান রেড-টিম লেবেল প্রতিস্থাপন করা দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে সাংবিধানিক এআই
একটি মডেল কতটা সতর্ক তা সামঞ্জস্য করার জন্য একটি লিখিত নীতি সম্পাদনা করা, তারপর হাজার হাজার উদাহরণ রিলেবেল না করে আচরণের পরিবর্তন পর্যবেক্ষণ করা।
একটি মডেল কতটা সতর্ক তা সামঞ্জস্য করার জন্য একটি লিখিত নীতি সম্পাদনা করা, তারপর হাজার হাজার উদাহরণ রিলেবেল না করে আচরণের পরিবর্তন পর্যবেক্ষণ করা দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
অনুশীলনে সাংবিধানিক এআই
সম্মিলিত ইনপুট অনুশীলন চালানো যেখানে জনসাধারণ এমন নীতি প্রস্তাব করে যা মডেলের সংবিধানকে আকৃতি দেয়।
সম্মিলিত ইনপুট অনুশীলন চালানো যেখানে জনসাধারণ নীতিগুলি প্রস্তাব করে যা মডেলের সংবিধানকে আকৃতি দেয় দলগুলি সাধারণত ভাল ফলাফল পায় যখন তারা সামনের মানের থ্রেশহোল্ডগুলিকে সংজ্ঞায়িত করে, প্রান্তের ক্ষেত্রে একটি মানবিক বৃদ্ধির পথ রাখে এবং সময়ের সাথে সাথে উত্পাদনশীলতা লাভ এবং ত্রুটির খরচ উভয়ই ট্র্যাক করে৷
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন। প্রতিটি পদক্ষেপকে একটি প্রমাণ গেট হিসাবে বিবেচনা করুন: যদি মানদণ্ড পূরণ না হয়, রোলআউট থামান, ব্যবধান বন্ধ করুন এবং শুধুমাত্র তারপর ব্যবহার প্রসারিত করুন।