ভাষা এআই গাইড
Kahneman-Tversky অপ্টিমাইজেশান
Kahneman-Tversky অপ্টিমাইজেশান (KTO) হল একটি প্রান্তিককরণ পদ্ধতি যা জোড়া তুলনার পরিবর্তে সাধারণ থাম্বস-আপ বা থাম্বস-ডাউন লেবেল থেকে শেখে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
এটা গুরুত্বপূর্ণ কারণ বাইনারি ফিডব্যাক র্যাঙ্ক করা জোড়া বেশিরভাগ পদ্ধতির চাহিদার তুলনায় সংগ্রহ করা অনেক সহজ এবং সস্তা।
গভীর ডুব
2024 সালে স্ট্যানফোর্ড এবং কনটেক্সচুয়াল AI-তে Ethayarajh এবং সহকর্মীদের দ্বারা প্রবর্তিত KTO, ড্যানিয়েল কাহনেম্যান এবং অ্যামোস টোভারস্কির নোবেল বিজয়ী কাজ থেকে ধার করা হয়েছে, কীভাবে মানুষ লাভ এবং ক্ষতিকে মূল্য দেয়। DPO-এর মতো স্ট্যান্ডার্ড পদ্ধতির জন্য পছন্দের জোড়া প্রয়োজন: একই প্রম্পটের জন্য একটি নির্বাচিত এবং একটি প্রত্যাখ্যান করা উত্তর। KTO এর পরিবর্তে জোড়াবিহীন ডেটার সাথে কাজ করে যেখানে প্রতিটি পৃথক আউটপুট কেবল পছন্দসই বা অবাঞ্ছিত হিসাবে চিহ্নিত করা হয়। এটি একটি মানব-সচেতন ক্ষতি তৈরি করে যা একটি নমুনায় মডেলের উন্নতিকে একটি রেফারেন্স পয়েন্টের সাপেক্ষে লাভ বা ক্ষতি হিসাবে বিবেচনা করে, ক্ষতির বিরোধিতা প্রয়োগ করে যাতে অবাঞ্ছিত আউটপুটগুলিকে পুরস্কৃত করা হয় তার চেয়ে বেশি তীক্ষ্ণভাবে শাস্তি দেওয়া হয়। এটি দলগুলিকে প্রোডাকশন অ্যাপে ইতিমধ্যেই সংগৃহীত প্রচুর থাম্বস-আপ/ডাউন সিগন্যাল ব্যবহার করতে দেয়৷
বাস্তব-বিশ্ব বাস্তবায়ন
একটি স্থাপন করা চ্যাটবট থেকে থাম্বস-আপ/থাম্বস-ডাউন ক্লিকগুলি ব্যবহার করে এটিকে সূক্ষ্ম-টিউন করতে কখনও পছন্দের জোড়া তৈরি না করে
যখন আপনার কাছে 'ভাল' এবং 'খারাপ' উত্তরগুলির একটি গাদা থাকে তবে একই প্রম্পটের জন্য কোনও মিলিত তুলনা নেই
কেটিও প্রশিক্ষণে একটি পণ্য দল পুনর্ব্যবহারযোগ্য সংযম পতাকা (অবাঞ্ছিত) এবং সংরক্ষিত প্রতিক্রিয়া (কাঙ্খিত)
ভারসাম্যহীন প্রতিক্রিয়া পরিচালনা করা যেখানে KTO-এর ক্ষতি-বিদ্বেষ এবং শ্রেণী ওজনগুলিকে টিউন করে পছন্দের চেয়ে অপছন্দগুলি বিরল।
কাহনেম্যান-টভারস্কি অপ্টিমাইজেশানের ভবিষ্যত
KTO বাস্তব পণ্যগুলির জন্য উপযুক্ত, যেখানে ব্যবহারকারীরা স্বাভাবিকভাবেই পছন্দ বা অপছন্দ ক্লিক করে কিন্তু খুব কমই দুটি উত্তর পাশাপাশি র্যাঙ্ক করে। ক্রমাগত উন্নতির লুপগুলির জন্য বৃহত্তর গ্রহণের প্রত্যাশা করুন যা উত্পাদন প্রতিক্রিয়া পুনর্ব্যবহার করে, পাশাপাশি গবেষণাটি পছন্দসই-থেকে-অবাঞ্ছিত ডেটা অনুপাত এবং ক্ষতি-প্রতিরোধ ওজনের সমন্বয় করে। কেটিও-এর আচরণগত-অর্থনীতির ফ্রেমিংকে অন্যান্য উদ্দেশ্যের সাথে একত্রিত করা এবং এটিকে মাল্টিমোডাল ফিডব্যাকে প্রয়োগ করা হল সক্রিয় দিকনির্দেশ কারণ দলগুলো অগোছালো বাস্তব-বিশ্বের সংকেত থেকে সারিবদ্ধতা খোঁজে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
- অ্যাক্সেস এবং পৌঁছানো. এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
- সুস্পষ্ট সিদ্ধান্ত. অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
জন্য সতর্ক
- হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
- প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
- অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
পরবর্তী পদক্ষেপ
- রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
- যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
- উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
- ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Kahneman-Tversky Optimization quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
Kahneman-Tversky অপ্টিমাইজেশান কি?
Kahneman-Tversky অপ্টিমাইজেশান (KTO) হল একটি প্রান্তিককরণ পদ্ধতি যা জোড়া তুলনার পরিবর্তে সাধারণ থাম্বস-আপ বা থাম্বস-ডাউন লেবেল থেকে শেখে। এটা গুরুত্বপূর্ণ কারণ বাইনারি ফিডব্যাক র্যাঙ্ক করা জোড়া অধিকাংশ পদ্ধতির চাহিদার তুলনায় সংগ্রহ করা অনেক সহজ এবং সস্তা।
KTO-এর কি ধরনের ডেটা প্রয়োজন?
KTO মিলিত পছন্দ জোড়ার পরিবর্তে সাধারণ প্রতি-উদাহরণ থাম্বস-আপ/ডাউন লেবেল থেকে শেখে।
KTO কোন কাজের দ্বারা অনুপ্রাণিত?
কেটিও লাভ এবং ক্ষতিকে অসমমিতভাবে মূল্যায়ন করার সম্ভাবনা তত্ত্বের ধারণা ধার করে, তাই নাম।
কেটিও-তে ব্যবহৃত 'লস এভার্সন' কী?
প্রসপেক্ট থিওরি বলে যে লাভের চেয়ে লোকসান বেশি হয়, তাই KTO নেতিবাচক বিচ্যুতিকে আরও বেশি ওজন করে।
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
KTO-তে বিচ্যুতি পরিমাপ করা হয় কিসের সাপেক্ষে?
KTO-এর মান ফাংশন বিচার করে যে কোনও প্রতিক্রিয়া একটি রেফারেন্স বেসলাইনের উপরে বা নীচে বসেছে, এটিকে লাভ বা ক্ষতি হিসাবে বিবেচনা করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড