প্রযুক্তিগত গাইড

একটি এলএলএম ইভাল ডেটাসেট তৈরি করা

একটি LLM ইভাল ডেটাসেট হল বাস্তবসম্মত ইনপুটগুলির একটি কিউরেটেড সেট, প্রতিটিতে একটি সোনালি উত্তর, রেফারেন্স ফ্যাক্ট বা একটি গ্রেডিং রুব্রিক যুক্ত থাকে, যা আপনি গুণমান পরিমাপ করতে এবং রিগ্রেশন ধরার জন্য আপনার আবেদনটি চালান।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. একটি এলএলএম ইভাল ডেটাসেট তৈরির ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি গুরুত্বপূর্ণ কারণ প্রম্পট, মডেল বা পুনরুদ্ধারের পরিবর্তন একটি আচরণকে উন্নত করতে পারে যখন অন্যটি ভাঙতে পারে। একটি নির্দিষ্ট পরীক্ষার সেট ছাড়াই, দলগুলি হাতে-বাছাই করা কয়েকটি উদাহরণ দ্বারা পরিবর্তনগুলি বিচার করে।

গভীর ডুব

আসল ব্যবহার দিয়ে শুরু করুন। লগ, সমর্থন টিকিট, অনুসন্ধান প্রশ্ন এবং ব্যবহারকারীর সাক্ষাত্কারগুলি দেখায় যে লোকেরা আসলে কী জিজ্ঞাসা করে, এর মধ্যে অগোছালো বাক্যাংশ যা উদ্ভাবিত উদাহরণগুলি মিস করে। লঞ্চ করার আগে, ডোমেন বিশেষজ্ঞদের ইনপুট লিখতে বলুন। আপনি একটি LLM দ্বারা উত্পন্ন সিন্থেটিক কেস যুক্ত করতে পারেন, যতক্ষণ না একজন ব্যক্তি সেগুলি পর্যালোচনা করে এবং অবাস্তব বা সদৃশ আইটেমগুলি সরিয়ে দেয়। পরবর্তী, প্রতিটি ক্ষেত্রে সঠিক অর্থ কী তা সংজ্ঞায়িত করুন। কিছু কাজের একটি সঠিক উত্তর আছে, যেমন শ্রেণীবিভাগ, নিষ্কাশন বা একটি বাস্তবিক অনুসন্ধান। এইগুলির জন্য, একটি সুবর্ণ উত্তর সংরক্ষণ করুন যা হুবহু বা হালকা স্বাভাবিককরণের পরে তুলনা করা যেতে পারে। ওপেন-এন্ডেড কাজের জন্য, নির্দিষ্ট, যাচাইযোগ্য মানদণ্ডের একটি রুব্রিক লিখুন, যেমন 'ফেরত ফেরতের সময়সীমা উল্লেখ করা' বা 'প্রতিযোগীকে সুপারিশ করে না'। 'সহায়ক'-এর মতো অস্পষ্ট মানদণ্ড অসঙ্গত গ্রেডিংয়ের দিকে পরিচালিত করে, গ্রেডকারী একজন ব্যক্তি বা বিচারক মডেল কিনা। তারপর উদ্দেশ্যমূলক বাস্তব ইনপুট পরিসীমা কভার. অভিপ্রায়, অসুবিধা, ভাষা এবং ব্যবহারকারীর ধরন দ্বারা কেস ট্যাগ করুন এবং গুরুত্বপূর্ণ গোষ্ঠীগুলিকে প্রতিনিধিত্ব করা হয়েছে কিনা তা পরীক্ষা করুন৷ এজ কেস এবং প্রতিপক্ষের ইনপুট যোগ করুন: - অস্পষ্ট প্রশ্ন - অনুপস্থিত তথ্য সহ অনুরোধ - খুব দীর্ঘ ইনপুট - সুযোগের বাইরের অনুরোধ যা প্রত্যাখ্যান করা উচিত - প্রম্পট-ইনজেকশন প্রচেষ্টা অতীতের ব্যর্থতাগুলির তৈরি একটি রিগ্রেশন স্লাইস রাখুন৷ সেটটিকে সাইজ করার সিদ্ধান্তকে সমর্থন করতে হবে। কয়েক ডজন ভালভাবে বাছাই করা কেস প্রাথমিক পর্যায়ে বড় সমস্যা প্রকাশ করতে পারে। ছোট পার্থক্য নির্ণয় নির্ভরযোগ্যভাবে আরো লাগে. 100টি পাস/ফেল মামলা এবং 80 শতাংশের কাছাকাছি পাসের হার সহ, 95 শতাংশ আত্মবিশ্বাসে ত্রুটির মার্জিন মোটামুটি প্লাস বা মাইনাস 8 শতাংশ পয়েন্ট। একটি দুই-পয়েন্ট উন্নতি সেই আকারের গোলমাল থেকে আলাদা করা যায় না। প্রতিটি স্লাইসের জন্য ফলাফল রিপোর্ট করুন, শুধুমাত্র একটি সামগ্রিক গড় নয়। ডেটাসেটকে সমাপ্ত হিসাবে বিবেচনা করা একটি সাধারণ ভুল। পণ্য এবং ব্যবহারকারীদের পরিবর্তন, তাই নতুন লগ থেকে এটি রিফ্রেশ. একটি হোল্ড-আউট অংশ রাখুন যার বিরুদ্ধে আপনি কখনই টিউন করবেন না, যাতে আপনার প্রম্পটগুলি পরীক্ষায় অতিবাহিত না হয়।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি সমর্থন দল 300টি আসল টিকিট রপ্তানি করে যার সাথে ব্যক্তিগত ডেটা সরানো হয়, প্রতিটির জন্য সঠিক রেজোলিউশন লেবেল করে এবং তাদের বিরুদ্ধে প্রতিটি নতুন প্রম্পট সংস্করণ স্কোর করে।

একটি মিটিংয়ের সারাংশের জন্য যেখানে অনেক শব্দ সঠিক, দলটি একটি রুব্রিক লেখে: তিনটি মূল সিদ্ধান্তকে কভার করে, কোন অসমর্থিত দাবি করে না, 150 শব্দের নিচে থাকে।

দলটি এজ কেস যোগ করে: একটি খালি ইনপুট, স্প্যানিশ ভাষায় একটি প্রশ্ন, একটি প্রম্পট-ইনজেকশনের প্রচেষ্টা সম্বলিত একটি নথি এবং সহকারীর প্রত্যাখ্যান করা উচিত এমন একটি সুযোগের বাইরের অনুরোধ।

যখন একজন ব্যবহারকারী উৎপাদনে একটি খারাপ উত্তর রিপোর্ট করে, কেসটি সঠিক উত্তর সহ ডেটাসেটে যায়, তাই তারপর থেকে ফিক্সটি পরীক্ষিত থাকে।

একটি এলএলএম ইভাল ডেটাসেট তৈরির ভবিষ্যত

Eval টুলিং দ্রুত পরিপক্ক হয়েছে. ওপেন সোর্স ফ্রেমওয়ার্ক এবং হোস্ট করা প্ল্যাটফর্মগুলি এখন ডেটাসেটগুলি পরিচালনা করে, গ্রেডার চালায় এবং সময়ের সাথে সাথে ফলাফলগুলি ট্র্যাক করে৷ সিন্থেটিক ডেটা জেনারেশন সম্ভবত উন্নতি করতে থাকবে, যা বিরল কেস কভার করা সস্তা করে তোলে। এটি গুরুত্বপূর্ণ বিষয়গুলির জন্য অ্যাঙ্কর হিসাবে প্রকৃত ব্যবহারকারীর ইনপুটগুলিকে প্রতিস্থাপন করতে পারে না। অ্যাপ্লিকেশানগুলি আরও এজেন্টিক হয়ে উঠলে, ইভাল সেটগুলি ক্রমবর্ধমানভাবে বহু-পদক্ষেপের কাজগুলিকে অন্তর্ভুক্ত করে যা চূড়ান্ত ফলাফল এবং পথ ধরে নেওয়া পদক্ষেপগুলি উভয়ের উপর গ্রেড করা হয়। মূল শৃঙ্খলা ধীরে ধীরে পরিবর্তিত হয়: সাফল্যকে স্পষ্টভাবে সংজ্ঞায়িত করুন, প্রকৃত ইনপুটগুলি কভার করুন, সংখ্যাগুলিকে বিশ্বাস করার জন্য যথেষ্ট কেস ব্যবহার করুন এবং উত্পাদন থেকে নিয়মিত সেটটি রিফ্রেশ করুন৷

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Building an LLM Eval Dataset quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

একটি এলএলএম ইভাল ডেটাসেট তৈরি করা কী?

একটি LLM ইভাল ডেটাসেট হল বাস্তবসম্মত ইনপুটগুলির একটি কিউরেটেড সেট, প্রতিটিতে একটি সোনালি উত্তর, রেফারেন্স ফ্যাক্ট বা একটি গ্রেডিং রুব্রিক যুক্ত থাকে, যা আপনি গুণমান পরিমাপ করতে এবং রিগ্রেশন ধরার জন্য আপনার আবেদনটি চালান। এটি গুরুত্বপূর্ণ কারণ প্রম্পট, মডেল বা পুনরুদ্ধারের একটি পরিবর্তন অন্যটি ভাঙার সময় একটি আচরণকে উন্নত করতে পারে। একটি নির্দিষ্ট পরীক্ষার সেট ছাড়াই, দলগুলি হাতে-বাছাই করা কয়েকটি উদাহরণ দ্বারা পরিবর্তনগুলি বিচার করে।

ইভাল কেসগুলির জন্য সেরা শুরুর উত্স হিসাবে গাইডটি কী সুপারিশ করে?

আসল ব্যবহার নোংরা বাক্যাংশ সহ লোকেরা আসলে কী জিজ্ঞাসা করে তা ক্যাপচার করে। সিন্থেটিক কেস একটি পর্যালোচনা করা সম্পূরক, প্রতিস্থাপন নয়।

যখন একটি রুব্রিক একটি একক সোনার উত্তরের চেয়ে বেশি উপযুক্ত?

ওপেন-এন্ডেড আউটপুট যেমন সারাংশ ঠিক মিলিত হতে পারে না। নির্দিষ্ট, পরীক্ষাযোগ্য মানদণ্ড গ্রেডারদের ধারাবাহিকভাবে তাদের বিচার করতে দেয়।

এর মধ্যে কোনটি একটি সুলিখিত রুব্রিক মানদণ্ড?

একটি ভাল মানদণ্ড নির্দিষ্ট এবং পরীক্ষাযোগ্য। 'সহায়ক'-এর মতো অস্পষ্ট মানদণ্ড লোকেদের দ্বারা অসামঞ্জস্যপূর্ণ গ্রেডিংয়ের দিকে পরিচালিত করে এবং একইভাবে মডেলদের বিচার করে।

100টি পাস/ফেল মামলা এবং 80 শতাংশের কাছাকাছি পাসের হার সহ, গাইড ত্রুটির মার্জিন সম্পর্কে কী বলে?

95 শতাংশ আত্মবিশ্বাসে এই আকারে মার্জিন প্রায় 8 পয়েন্ট। সংস্করণগুলির মধ্যে ছোট পার্থক্যগুলি আরও কেস ছাড়া বিশ্বাস করা যায় না।

একটি রিগ্রেশন স্লাইস উদ্দেশ্য কি?

ডেটাসেটে প্রতিটি স্থির ব্যর্থতা যোগ করার অর্থ হল পরবর্তী পরিবর্তন শান্তভাবে একই বাগ পুনঃপ্রবর্তন করতে পারে না।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →