পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
একটি এমবেডিং মডেলকে ফাইন-টিউন করার অর্থ হল এটিকে জোড়া বাস্তব প্রশ্নের এবং নথির উত্তর দেওয়ার জন্য প্রশিক্ষণ দেওয়া, যাতে আপনার ডোমেনে প্রাসঙ্গিক পাঠ্যটি অপ্রাসঙ্গিক পাঠ্যের চেয়ে ভেক্টর স্পেসে একসাথে অবস্থান করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ পুনরুদ্ধারের গুণমান RAG গুণমানকে ক্যাপ করে: যদি সঠিক উত্তরণটি পুনরুদ্ধার করা না হয়, তবে ভাষা মডেল এটি ব্যবহার করতে পারে না এবং সাধারণ-উদ্দেশ্য এম্বেডিংগুলি প্রায়শই ডোমেন শব্দভাণ্ডার, সংক্ষিপ্ত রূপ এবং আপনার ব্যবহারকারীদের বাক্যাংশের প্রশ্নগুলি মিস করে।
একটি এমবেডিং মডেল পাঠ্যকে একটি ভেক্টরে পরিণত করে যাতে শব্দার্থগতভাবে অনুরূপ পাঠে একই ভেক্টর থাকে, সাধারণত কোসাইন সাদৃশ্য দ্বারা পরিমাপ করা হয়। RAG-তে, উভয় প্রশ্ন এবং নথির অংশই এম্বেড করা হয় এবং নিকটতম অংশগুলি পুনরুদ্ধার করা হয়। সাধারণ মডেলগুলিকে বিস্তৃত ওয়েব এবং প্রশ্ন-উত্তর ডেটাতে প্রশিক্ষণ দেওয়া হয়। তারা সর্বত্র যুক্তিসঙ্গতভাবে ভাল কাজ করে কিন্তু বিশেষ শর্তাবলী, অভ্যন্তরীণ পণ্যের নাম এবং একজন ব্যবহারকারী কীভাবে জিজ্ঞাসা করে এবং কীভাবে একটি নথি লেখা হয় তার মধ্যে ব্যবধানের সাথে লড়াই করতে পারে। ফাইন-টিউনিং তিনটি ফর্মে প্রশিক্ষণ ডেটার সাথে সেই ফাঁকটি বন্ধ করে। ইতিবাচক জোড়া হল একটি প্রশ্ন এবং একটি উত্তর যা উত্তর দেয়। ইন-ব্যাচ নেগেটিভগুলি একই প্রশিক্ষণ ব্যাচের অন্যান্য প্যাসেজগুলি ব্যবহার করে উদাহরণ হিসাবে যা কম স্কোর করা উচিত। হার্ড নেগেটিভ হল প্যাসেজ যা প্রাসঙ্গিক দেখায়, শব্দ বা বিষয় শেয়ার করে, কিন্তু প্রশ্নের উত্তর দেয় না। কঠিন নেতিবাচক সূক্ষ্ম পার্থক্যগুলি শেখায় যা সবচেয়ে গুরুত্বপূর্ণ, কারণ সহজ নেতিবাচকগুলি ইতিমধ্যেই বেস মডেল দ্বারা পৃথক করা হয়েছে। ভাল ডেটা উত্সগুলির মধ্যে রয়েছে ক্লিক সহ অনুসন্ধান লগ, নিবন্ধগুলির সাথে লিঙ্ক করা সমর্থন টিকিট, প্রায়শই জিজ্ঞাসিত প্রশ্ন পৃষ্ঠাগুলি এবং একটি ভাষা মডেল দ্বারা আপনার নথি থেকে তৈরি সিন্থেটিক প্রশ্নগুলি। সিন্থেটিক ডেটা দরকারী কিন্তু ফিল্টার করা উচিত, যেহেতু তৈরি করা প্রশ্নগুলি প্রায়শই নথির শব্দগুলি অনুলিপি করে এবং কাজটিকে খুব সহজ করে তোলে৷ একটি ঘন ঘন ভুল ধারণা হল যে ফাইন-টিউনিং হল দুর্বল পুনরুদ্ধারের প্রথম সমাধান। প্রায়শই ভাল খণ্ডন, একটি হাইব্রিড সেটআপে BM25-এর মতো কীওয়ার্ড অনুসন্ধান যোগ করা বা একটি রিরাঙ্কার যোগ করা কম পরিশ্রমে বড় লাভ দেয়। ফাইন-টিউনিং সবচেয়ে সার্থক যখন আপনি একটি পুনরুদ্ধারের ব্যবধান পরিমাপ করেন এবং কমপক্ষে কয়েক হাজার গুণমান জোড়া তৈরি করেন বা করতে পারেন। আরেকটি সমস্যা হল মিথ্যা নেতিবাচক: একটি খনন করা কঠিন নেতিবাচক যা আসলে প্রশ্নের উত্তর দেয়। মডেলটিকে দূরে ঠেলে দেওয়ার জন্য প্রশিক্ষণ দেওয়া গুণমানের ক্ষতি করে। এছাড়াও মনে রাখবেন যে এম্বেডিং মডেল পরিবর্তন করার জন্য সম্পূর্ণ নথি সংগ্রহ পুনরায় এমবেড করা প্রয়োজন, কারণ পুরানো এবং নতুন ভেক্টর তুলনাযোগ্য নয়।
একটি বীমা কোম্পানী গ্রাহকের প্রশ্নের জোড়ায় জোড়ায় এম্বেডিং প্রশিক্ষণ দেয় এবং পলিসি ধারাগুলি যা তাদের উত্তর দেয়, তাই 'আমি যদি এটি ফেলে দিই তাহলে কি আমার ফোন আচ্ছাদিত হবে' দুর্ঘটনাজনিত ক্ষতির ধারাটি পুনরুদ্ধার করে।
একটি সফ্টওয়্যার কোম্পানি তার সমর্থন টিকিটের ইতিহাস ব্যবহার করে, প্রতিটি টিকিটের প্রশ্নকে তাদের উত্তরে লিঙ্ক করা হেল্প আর্টিকেল এজেন্টদের সাথে যুক্ত করে, বিনামূল্যে প্রশিক্ষণ ডেটা হিসাবে।
একটি আইনী গবেষণা দল এমন ধারা গ্রহণ করে কঠিন নেতিবাচক দিকগুলি খনি যা কোয়েরির সাথে কীওয়ার্ডগুলি ভাগ করে কিন্তু একটি ভিন্ন এখতিয়ার সম্বোধন করে, মডেলটিকে আলাদা করতে শেখায়৷
একটি ফার্মাসিউটিক্যাল দল একটি ভাষা মডেল সহ অভ্যন্তরীণ নথিগুলি থেকে কৃত্রিম প্রশ্ন তৈরি করে, নিম্ন-মানেরগুলিকে ফিল্টার করে এবং একটি ডোমেন এমবেডিং মডেলকে প্রশিক্ষণের জন্য জোড়া ব্যবহার করে৷
সাধারণ এমবেডিং মডেলগুলি MTEB-এর মতো পাবলিক বেঞ্চমার্কগুলিতে উন্নতি করতে থাকে, যা ডোমেন অভিযোজনের সুবিধাকে সঙ্কুচিত করে কিন্তু সরিয়ে দেয় না, যেহেতু বেঞ্চমার্ক ডেটা খুব কমই একটি প্রাইভেট কর্পাসের সাথে মেলে। ল্যাঙ্গুয়েজ মডেলের সাথে সিন্থেটিক ডেটা জেনারেশন বৃহৎ লেবেলযুক্ত ডেটাসেট ছাড়াই টিমের জন্য সূক্ষ্ম-টিউনিংকে ব্যবহারিক করে তুলেছে। হাইব্রিড পাইপলাইনগুলির ক্রমাগত ব্যবহারের প্রত্যাশা করুন যেখানে একটি সূক্ষ্ম-টিউন করা এমবেডিং মডেল প্রথম-পর্যায়ে রিকল পরিচালনা করে এবং একটি রিরাঙ্কার নির্ভুলতা পরিচালনা করে। পরিমাপের অভ্যাসটি সবচেয়ে গুরুত্বপূর্ণ: যে দলগুলি বাস্তব প্রশ্নের উপর ট্র্যাক করে তারা জানতে পারবে যখন ফাইন-টিউনিং অর্থ প্রদান করবে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
একটি এমবেডিং মডেলকে ফাইন-টিউন করার অর্থ হল এটিকে জোড়া বাস্তব প্রশ্নের এবং নথির উত্তর দেওয়ার জন্য প্রশিক্ষণ দেওয়া, যাতে আপনার ডোমেনে প্রাসঙ্গিক পাঠ্যটি অপ্রাসঙ্গিক পাঠ্যের চেয়ে ভেক্টর স্পেসে একসাথে অবস্থান করে। এটি গুরুত্বপূর্ণ কারণ পুনরুদ্ধারের গুণমান RAG গুণমানকে ক্যাপ করে: যদি সঠিক উত্তরণটি পুনরুদ্ধার করা না হয়, তবে ভাষা মডেল এটি ব্যবহার করতে পারে না এবং সাধারণ-উদ্দেশ্য এম্বেডিংগুলি প্রায়শই ডোমেন শব্দভাণ্ডার, সংক্ষিপ্ত রূপ এবং আপনার ব্যবহারকারীদের বাক্যাংশের প্রশ্নগুলি মিস করে।
কঠিন নেতিবাচক শব্দ বা বিষয় প্রশ্নের সাথে ভাগ করে কিন্তু সঠিক নয়, মডেলকে সূক্ষ্ম পার্থক্য শেখায়।
সহজ নেতিবাচক ইতিমধ্যে কোয়েরি থেকে অনেক দূরে; হার্ড নেগেটিভ মডেলকে সূক্ষ্ম পার্থক্য শিখতে বাধ্য করে।
যদি একটি অনুমিত নেতিবাচক প্রকৃতপক্ষে প্রাসঙ্গিক হয়, প্রশিক্ষণ একটি সঠিক উত্তর দূরে ঠেলে দেয় এবং পুনরুদ্ধারের ক্ষতি করে।
বৈপরীত্য লস ইন-ব্যাচ এবং হার্ড নেগেটিভের বিপরীতে ইতিবাচক স্কোর করে, ইতিবাচককে শীর্ষে ঠেলে দেয়।
বিভিন্ন মডেলের ভেক্টর তুলনাযোগ্য নয়, তাই পুরো সংগ্রহটি পুনরায় এমবেড করা আবশ্যক।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল