পরবর্তী আপপরবর্তী গাইড
LLM Eval Frameworks: Promptfoo and DeepEval
টেকনিক্যাল
প্রযুক্তিগত গাইড
একটি LLM ইভাল ডেটাসেট হল বাস্তবসম্মত ইনপুটগুলির একটি কিউরেটেড সেট, প্রতিটিতে একটি সোনালি উত্তর, রেফারেন্স ফ্যাক্ট বা একটি গ্রেডিং রুব্রিক যুক্ত থাকে, যা আপনি গুণমান পরিমাপ করতে এবং রিগ্রেশন ধরার জন্য আপনার আবেদনটি চালান।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ প্রম্পট, মডেল বা পুনরুদ্ধারের পরিবর্তন একটি আচরণকে উন্নত করতে পারে যখন অন্যটি ভাঙতে পারে। একটি নির্দিষ্ট পরীক্ষার সেট ছাড়াই, দলগুলি হাতে-বাছাই করা কয়েকটি উদাহরণ দ্বারা পরিবর্তনগুলি বিচার করে।
আসল ব্যবহার দিয়ে শুরু করুন। লগ, সমর্থন টিকিট, অনুসন্ধান প্রশ্ন এবং ব্যবহারকারীর সাক্ষাত্কারগুলি দেখায় যে লোকেরা আসলে কী জিজ্ঞাসা করে, এর মধ্যে অগোছালো বাক্যাংশ যা উদ্ভাবিত উদাহরণগুলি মিস করে। লঞ্চ করার আগে, ডোমেন বিশেষজ্ঞদের ইনপুট লিখতে বলুন। আপনি একটি LLM দ্বারা উত্পন্ন সিন্থেটিক কেস যুক্ত করতে পারেন, যতক্ষণ না একজন ব্যক্তি সেগুলি পর্যালোচনা করে এবং অবাস্তব বা সদৃশ আইটেমগুলি সরিয়ে দেয়। পরবর্তী, প্রতিটি ক্ষেত্রে সঠিক অর্থ কী তা সংজ্ঞায়িত করুন। কিছু কাজের একটি সঠিক উত্তর আছে, যেমন শ্রেণীবিভাগ, নিষ্কাশন বা একটি বাস্তবিক অনুসন্ধান। এইগুলির জন্য, একটি সুবর্ণ উত্তর সংরক্ষণ করুন যা হুবহু বা হালকা স্বাভাবিককরণের পরে তুলনা করা যেতে পারে। ওপেন-এন্ডেড কাজের জন্য, নির্দিষ্ট, যাচাইযোগ্য মানদণ্ডের একটি রুব্রিক লিখুন, যেমন 'ফেরত ফেরতের সময়সীমা উল্লেখ করা' বা 'প্রতিযোগীকে সুপারিশ করে না'। 'সহায়ক'-এর মতো অস্পষ্ট মানদণ্ড অসঙ্গত গ্রেডিংয়ের দিকে পরিচালিত করে, গ্রেডকারী একজন ব্যক্তি বা বিচারক মডেল কিনা। তারপর উদ্দেশ্যমূলক বাস্তব ইনপুট পরিসীমা কভার. অভিপ্রায়, অসুবিধা, ভাষা এবং ব্যবহারকারীর ধরন দ্বারা কেস ট্যাগ করুন এবং গুরুত্বপূর্ণ গোষ্ঠীগুলিকে প্রতিনিধিত্ব করা হয়েছে কিনা তা পরীক্ষা করুন৷ এজ কেস এবং প্রতিপক্ষের ইনপুট যোগ করুন: - অস্পষ্ট প্রশ্ন - অনুপস্থিত তথ্য সহ অনুরোধ - খুব দীর্ঘ ইনপুট - সুযোগের বাইরের অনুরোধ যা প্রত্যাখ্যান করা উচিত - প্রম্পট-ইনজেকশন প্রচেষ্টা অতীতের ব্যর্থতাগুলির তৈরি একটি রিগ্রেশন স্লাইস রাখুন৷ সেটটিকে সাইজ করার সিদ্ধান্তকে সমর্থন করতে হবে। কয়েক ডজন ভালভাবে বাছাই করা কেস প্রাথমিক পর্যায়ে বড় সমস্যা প্রকাশ করতে পারে। ছোট পার্থক্য নির্ণয় নির্ভরযোগ্যভাবে আরো লাগে. 100টি পাস/ফেল মামলা এবং 80 শতাংশের কাছাকাছি পাসের হার সহ, 95 শতাংশ আত্মবিশ্বাসে ত্রুটির মার্জিন মোটামুটি প্লাস বা মাইনাস 8 শতাংশ পয়েন্ট। একটি দুই-পয়েন্ট উন্নতি সেই আকারের গোলমাল থেকে আলাদা করা যায় না। প্রতিটি স্লাইসের জন্য ফলাফল রিপোর্ট করুন, শুধুমাত্র একটি সামগ্রিক গড় নয়। ডেটাসেটকে সমাপ্ত হিসাবে বিবেচনা করা একটি সাধারণ ভুল। পণ্য এবং ব্যবহারকারীদের পরিবর্তন, তাই নতুন লগ থেকে এটি রিফ্রেশ. একটি হোল্ড-আউট অংশ রাখুন যার বিরুদ্ধে আপনি কখনই টিউন করবেন না, যাতে আপনার প্রম্পটগুলি পরীক্ষায় অতিবাহিত না হয়।
একটি সমর্থন দল 300টি আসল টিকিট রপ্তানি করে যার সাথে ব্যক্তিগত ডেটা সরানো হয়, প্রতিটির জন্য সঠিক রেজোলিউশন লেবেল করে এবং তাদের বিরুদ্ধে প্রতিটি নতুন প্রম্পট সংস্করণ স্কোর করে।
একটি মিটিংয়ের সারাংশের জন্য যেখানে অনেক শব্দ সঠিক, দলটি একটি রুব্রিক লেখে: তিনটি মূল সিদ্ধান্তকে কভার করে, কোন অসমর্থিত দাবি করে না, 150 শব্দের নিচে থাকে।
দলটি এজ কেস যোগ করে: একটি খালি ইনপুট, স্প্যানিশ ভাষায় একটি প্রশ্ন, একটি প্রম্পট-ইনজেকশনের প্রচেষ্টা সম্বলিত একটি নথি এবং সহকারীর প্রত্যাখ্যান করা উচিত এমন একটি সুযোগের বাইরের অনুরোধ।
যখন একজন ব্যবহারকারী উৎপাদনে একটি খারাপ উত্তর রিপোর্ট করে, কেসটি সঠিক উত্তর সহ ডেটাসেটে যায়, তাই তারপর থেকে ফিক্সটি পরীক্ষিত থাকে।
Eval টুলিং দ্রুত পরিপক্ক হয়েছে. ওপেন সোর্স ফ্রেমওয়ার্ক এবং হোস্ট করা প্ল্যাটফর্মগুলি এখন ডেটাসেটগুলি পরিচালনা করে, গ্রেডার চালায় এবং সময়ের সাথে সাথে ফলাফলগুলি ট্র্যাক করে৷ সিন্থেটিক ডেটা জেনারেশন সম্ভবত উন্নতি করতে থাকবে, যা বিরল কেস কভার করা সস্তা করে তোলে। এটি গুরুত্বপূর্ণ বিষয়গুলির জন্য অ্যাঙ্কর হিসাবে প্রকৃত ব্যবহারকারীর ইনপুটগুলিকে প্রতিস্থাপন করতে পারে না। অ্যাপ্লিকেশানগুলি আরও এজেন্টিক হয়ে উঠলে, ইভাল সেটগুলি ক্রমবর্ধমানভাবে বহু-পদক্ষেপের কাজগুলিকে অন্তর্ভুক্ত করে যা চূড়ান্ত ফলাফল এবং পথ ধরে নেওয়া পদক্ষেপগুলি উভয়ের উপর গ্রেড করা হয়। মূল শৃঙ্খলা ধীরে ধীরে পরিবর্তিত হয়: সাফল্যকে স্পষ্টভাবে সংজ্ঞায়িত করুন, প্রকৃত ইনপুটগুলি কভার করুন, সংখ্যাগুলিকে বিশ্বাস করার জন্য যথেষ্ট কেস ব্যবহার করুন এবং উত্পাদন থেকে নিয়মিত সেটটি রিফ্রেশ করুন৷
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
একটি LLM ইভাল ডেটাসেট হল বাস্তবসম্মত ইনপুটগুলির একটি কিউরেটেড সেট, প্রতিটিতে একটি সোনালি উত্তর, রেফারেন্স ফ্যাক্ট বা একটি গ্রেডিং রুব্রিক যুক্ত থাকে, যা আপনি গুণমান পরিমাপ করতে এবং রিগ্রেশন ধরার জন্য আপনার আবেদনটি চালান। এটি গুরুত্বপূর্ণ কারণ প্রম্পট, মডেল বা পুনরুদ্ধারের একটি পরিবর্তন অন্যটি ভাঙার সময় একটি আচরণকে উন্নত করতে পারে। একটি নির্দিষ্ট পরীক্ষার সেট ছাড়াই, দলগুলি হাতে-বাছাই করা কয়েকটি উদাহরণ দ্বারা পরিবর্তনগুলি বিচার করে।
আসল ব্যবহার নোংরা বাক্যাংশ সহ লোকেরা আসলে কী জিজ্ঞাসা করে তা ক্যাপচার করে। সিন্থেটিক কেস একটি পর্যালোচনা করা সম্পূরক, প্রতিস্থাপন নয়।
ওপেন-এন্ডেড আউটপুট যেমন সারাংশ ঠিক মিলিত হতে পারে না। নির্দিষ্ট, পরীক্ষাযোগ্য মানদণ্ড গ্রেডারদের ধারাবাহিকভাবে তাদের বিচার করতে দেয়।
একটি ভাল মানদণ্ড নির্দিষ্ট এবং পরীক্ষাযোগ্য। 'সহায়ক'-এর মতো অস্পষ্ট মানদণ্ড লোকেদের দ্বারা অসামঞ্জস্যপূর্ণ গ্রেডিংয়ের দিকে পরিচালিত করে এবং একইভাবে মডেলদের বিচার করে।
95 শতাংশ আত্মবিশ্বাসে এই আকারে মার্জিন প্রায় 8 পয়েন্ট। সংস্করণগুলির মধ্যে ছোট পার্থক্যগুলি আরও কেস ছাড়া বিশ্বাস করা যায় না।
ডেটাসেটে প্রতিটি স্থির ব্যর্থতা যোগ করার অর্থ হল পরবর্তী পরিবর্তন শান্তভাবে একই বাগ পুনঃপ্রবর্তন করতে পারে না।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
LLM Eval Frameworks: Promptfoo and DeepEval
টেকনিক্যাল