পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল
ভাষা এআই গাইড
প্রম্পট করলে আপনি মডেলটিকে যা জিজ্ঞাসা করেন তা পরিবর্তন করে, পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG) উত্তরের সময় মডেলটি কী তথ্য দেখে তা পরিবর্তন করে এবং সূক্ষ্ম টিউনিং মডেলের ওজন পরিবর্তন করে যাতে এটি ডিফল্টরূপে ভিন্নভাবে আচরণ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
সঠিক পছন্দটি আসলে কি অনুপস্থিত তার উপর নির্ভর করে: জ্ঞান RAG-এর দিকে নির্দেশ করে, সামঞ্জস্যপূর্ণ বিন্যাস বা শৈলী প্রথম এবং ফাইন-টিউনিং সেকেন্ডকে প্রম্পট করার জন্য এবং একটি নতুন দক্ষতা যে মডেলটি নির্ভরযোগ্যভাবে সূক্ষ্ম-টিউনিংকে নির্দেশ করতে পারে না। ভুল লিভার বাছাই করা অর্থ অপচয় করে এবং প্রায়শই ফলাফল খারাপ করে।
সিদ্ধান্ত নেওয়ার একটি কার্যকর উপায় হল সমাধানের নামকরণের আগে ফাঁকটির নাম দেওয়া। চারটি সাধারণ ফাঁক রয়েছে: জ্ঞান (মডেলটি আপনার তথ্য জানে না), বিন্যাস (এটি জানে কিন্তু ভুল আকারে উত্তর দেয়), শৈলী বা স্বর (এটি সঠিকভাবে উত্তর দেয় কিন্তু সঠিক শোনায় না), এবং দক্ষতা (এটি মোটেও নির্ভরযোগ্যভাবে কাজটি সম্পাদন করতে পারে না, যেমন একটি বিশেষ নিষ্কাশন বা একটি ডোমেন-নির্দিষ্ট বিচার)। প্রায় প্রতিটি ফাঁকের জন্য প্রম্পটিং হল প্রথম লিভার কারণ এটি সস্তা, দ্রুত পরিবর্তন এবং পরীক্ষা করা সহজ। পরিষ্কার নির্দেশাবলী, একটি সংজ্ঞায়িত আউটপুট স্কিমা এবং কয়েকটি উদাহরণ ফরম্যাট এবং শৈলী সমস্যাগুলির একটি বড় অংশ ঠিক করে। এর সীমা হল প্রসঙ্গ দৈর্ঘ্য, প্রম্পট দীর্ঘ হয়ে গেলে প্রতি কলের খরচ এবং কঠিন কাজগুলিতে অসঙ্গতি। RAG জ্ঞান সম্বোধন করে। প্রশ্নের সময় একজন পুনরুদ্ধারকারী আপনার নথিগুলি থেকে প্রাসঙ্গিক প্যাসেজগুলি খুঁজে পায় এবং সেগুলিকে প্রম্পটে রাখে, তাই মডেলটি বর্তমান, উল্লেখযোগ্য উত্স থেকে উত্তর দেয়। এটি এমন তথ্যের সাথে মানানসই হয় যা পরিবর্তিত হয়, যে তথ্যগুলিকে অবশ্যই সনাক্ত করা যায়, এবং সংগ্রহগুলি একটি প্রম্পটে মাপসই করার জন্য খুব বড়। এর গুণমান পুনরুদ্ধারের উপর ব্যাপকভাবে নির্ভর করে: যদি সঠিক উত্তরণ পাওয়া না যায়, তাহলে মডেলটি এটি ব্যবহার করতে পারবে না। ফাইন-টিউনিং মডেলটিকে পছন্দসই ইনপুট এবং আউটপুটের উদাহরণে প্রশিক্ষণ দেয়। এটি একটি বিন্যাস, একটি স্বন বা একটি সংকীর্ণ দক্ষতায় লক করার ক্ষেত্রে শক্তিশালী, এবং এটি একটি ছোট মডেলকে একটি বড় মডেলকে প্রতিস্থাপন করতে দেয়, বিলম্ব এবং খরচ কমিয়ে দেয়৷ একটি সাধারণ ভুল ধারণা হল যে ফাইন-টিউনিং হল তথ্য যোগ করার একটি ভাল উপায়। এটি একটি মডেল যা বলার প্রবণতা পরিবর্তন করতে পারে, তবে এটি জ্ঞান সঞ্চয় করার একটি অবিশ্বস্ত এবং হার্ড-টু-আপডেট উপায়, এবং এটি মডেলটি মাত্র কয়েকবার দেখেছে এমন উপাদান সম্পর্কে আত্মবিশ্বাসী ত্রুটি বাড়াতে পারে৷ পদ্ধতিগুলি একত্রিত হয়। অনেক প্রোডাকশন সিস্টেম একটি সূক্ষ্ম-টিউনড মডেল ব্যবহার করে যা পুনরুদ্ধার করা প্রসঙ্গ পড়তে ভাল, একটি ভাল-পরিকল্পিত প্রম্পট দ্বারা চালিত। ব্যবহারিক ক্রমটি সাধারণত: প্রম্পট, তারপর জ্ঞান অনুপস্থিত থাকলে পুনরুদ্ধার যোগ করুন, তারপরে যখন আপনার মূল্যায়ন ডেটা থাকে তখন সূক্ষ্ম-টিউন করুন একটি স্থায়ী ব্যবধান দেখান।
একটি সহায়তা দল একটি চ্যাটবট চায় একটি পণ্য ম্যানুয়াল সম্পর্কে প্রশ্নের উত্তর দিতে যা মাসিক পরিবর্তিত হয়; RAG ফিট করে কারণ তথ্যগুলি পরিবর্তিত হয় এবং উত্তরগুলির বর্তমান সংস্করণের উদ্ধৃতি প্রয়োজন৷
একটি আইনি দল একই পাঁচ-শিরোনাম কাঠামোতে প্রতিটি চুক্তির সারাংশ প্রয়োজন; দুটি কাজের উদাহরণ সহ একটি স্পষ্ট প্রম্পট সাধারণত কোনও প্রশিক্ষণ বিবেচনা করার আগে এটি সমাধান করে।
একটি কোম্পানি দিনে লক্ষ লক্ষ সংক্ষিপ্ত শ্রেণিবিন্যাসের অনুরোধগুলি প্রক্রিয়া করে এবং দেখতে পায় যে একটি ছোট সূক্ষ্ম-সুরিত মডেল খরচ এবং বিলম্বিততার একটি ভগ্নাংশে একটি বড় প্রম্পটেড মডেলের নির্ভুলতার সাথে মেলে৷
একটি হাসপাতাল অভ্যন্তরীণ নীতি নথিতে একটি মডেলকে সূক্ষ্ম সুর করার চেষ্টা করে যাতে এটি সেগুলিকে 'জানতে পারে', এটি এখনও বিশদ আবিষ্কার করে এবং RAG-তে স্যুইচ করে যাতে উত্তরগুলি প্রকৃত নীতির পাঠ্য উদ্ধৃত করে।
দীর্ঘ প্রসঙ্গ উইন্ডো এবং সস্তা অনুমান প্রম্পটিং এবং পুনরুদ্ধারকে আরও সক্ষম করে তুলেছে, যা সূক্ষ্ম টিউনিং একমাত্র বিকল্প যেখানে মামলার সংখ্যা হ্রাস করে। একই সময়ে, হোস্ট করা ফাইন-টিউনিং পরিষেবাগুলি পছন্দ এবং শক্তিবৃদ্ধি-ভিত্তিক বৈকল্পিক সহ ব্যবহার করা সহজ হয়ে উঠেছে। তিনটি পদ্ধতির মধ্যে সীমানা অস্পষ্ট হতে পারে, এমন সিস্টেমগুলি যেগুলি একসাথে হালকাভাবে অভিযোজিত মডেলগুলি পুনরুদ্ধার করে, প্রম্পট করে এবং ব্যবহার করে৷ টেকসই দক্ষতা হল ডায়াগনস্টিক: অনুপস্থিত জ্ঞান, অস্পষ্ট নির্দেশনা বা প্রকৃত ক্ষমতার ব্যবধান থেকে ব্যর্থতা এসেছে কিনা তা চিহ্নিত করা এবং তারপরে পরিবর্তন আসলে সাহায্য করেছে কিনা তা পরিমাপ করা।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রম্পট করলে আপনি মডেলটিকে যা জিজ্ঞাসা করেন তা পরিবর্তন করে, পুনরুদ্ধার-অগমেন্টেড জেনারেশন (RAG) উত্তরের সময় মডেলটি কী তথ্য দেখে তা পরিবর্তন করে এবং সূক্ষ্ম টিউনিং মডেলের ওজন পরিবর্তন করে যাতে এটি ডিফল্টরূপে ভিন্নভাবে আচরণ করে। সঠিক পছন্দটি আসলে কি অনুপস্থিত তার উপর নির্ভর করে: জ্ঞান RAG-এর দিকে নির্দেশ করে, সামঞ্জস্যপূর্ণ বিন্যাস বা শৈলী প্রথম এবং ফাইন-টিউনিং সেকেন্ডকে প্রম্পট করার জন্য এবং একটি নতুন দক্ষতা যে মডেলটি নির্ভরযোগ্যভাবে সূক্ষ্ম-টিউনিংকে নির্দেশ করতে পারে না। ভুল লিভার বাছাই করা অর্থ অপচয় করে এবং প্রায়শই ফলাফল খারাপ করে।
এটি পরিবর্তিত তথ্যের সাথে জ্ঞানের ব্যবধান। RAG ক্যোয়ারী করার সময় বর্তমান, উদ্ধৃতিযোগ্য তথ্য সরবরাহ করে এবং এটি আপডেট করার অর্থ শুধুমাত্র নথিগুলি আপডেট করা।
প্রম্পটিং সস্তা, পরিবর্তন করা দ্রুত এবং পরীক্ষা করা সহজ, এবং স্পষ্ট নির্দেশাবলী এবং কয়েকটি উদাহরণ অনেকগুলি বিন্যাস এবং শৈলী সমস্যা সমাধান করে৷
সূক্ষ্ম-টিউনিং তথ্যগুলিকে নির্ভরযোগ্যভাবে সংরক্ষণ করার পরিবর্তে প্রবণতাগুলিকে পরিবর্তন করে, যখন ঘটনাগুলি পরিবর্তিত হয় তখন আপডেট করা বিশ্রী, এবং মডেলটিকে আত্মবিশ্বাসের সাথে ভুল করতে পারে৷
ফাইন-টিউনিং একটি সংকীর্ণ দক্ষতা বা বিন্যাসে লক করার জন্য এবং খরচ এবং লেটেন্সি কমাতে একটি বড় মডেলকে প্রতিস্থাপন করতে দেওয়ার জন্য শক্তিশালী।
পুনরুদ্ধার সঠিক উত্তরণ পৃষ্ঠ না হলে, মডেল এটি ব্যবহার করতে পারবে না। পুনরুদ্ধার প্রত্যাহার পরিমাপ আলাদাভাবে সমস্যাটিকে আলাদা করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
অবিরত প্রিট্রেইনিং বনাম ফাইন-টিউনিং
টেকনিক্যাল