পরবর্তী আপপরবর্তী গাইড
প্রম্পট পরীক্ষা করার জন্য LLM খেলার মাঠ ব্যবহার করা
টেকনিক্যাল
প্রযুক্তিগত গাইড
প্রম্পট ভার্সনিং এবং রিগ্রেশন টেস্টিং মানে প্রতিটি প্রম্পটকে একটি ভার্সন করা আর্টিফ্যাক্ট হিসাবে সংরক্ষণ করা এবং যখনই প্রম্পট, মডেল বা পার্শ্ববর্তী কোড পরিবর্তন হয় তখনই স্বয়ংক্রিয়ভাবে একটি মূল্যায়ন স্যুট পুনরায় চালানো।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ একটি ছোট শব্দ সম্পাদনা বা একটি প্রদানকারী মডেল আপডেট নিঃশব্দে আউটপুটগুলি ভেঙে দিতে পারে যা ব্যবহারকারী এবং ডাউনস্ট্রিম সিস্টেম নির্ভর করে।
প্রম্পটে যুক্তি রয়েছে: নির্দেশাবলী, সীমাবদ্ধতা, উদাহরণ এবং আউটপুট ফর্ম্যাট যা একটি অ্যাপ্লিকেশন কী করে তা নির্ধারণ করে। নৈমিত্তিক টেক্সট স্ট্রিং হিসাবে তাদের আচরণ ট্র্যাকড এডিট এবং উত্পাদন বিস্ময় বাড়ে. তাদের কোডের মতো আচরণ করা মানে সংস্করণ নিয়ন্ত্রণ, পর্যালোচনা, স্বয়ংক্রিয় পরীক্ষা এবং নিয়ন্ত্রিত প্রকাশ। প্রম্পট শব্দের চেয়ে সংস্করণের প্রয়োজন কী। আউটপুট সম্পূর্ণ কনফিগারেশনের উপর নির্ভর করে: সিস্টেম প্রম্পট, টেমপ্লেট এবং এর ভেরিয়েবল, কয়েকটি-শট উদাহরণ, টুল বা ফাংশন স্কিমা, মডেল শনাক্তকারী, নমুনা প্যারামিটার যেমন তাপমাত্রা এবং সর্বোচ্চ টোকেন, এবং নথিগুলি ইনজেকশন করা হলে পুনরুদ্ধার সেটিংস। যে কোনো একটি পরিবর্তন করা আচরণ পরিবর্তন করতে পারে, তাই দলগুলি তাদের একসাথে সংস্করণ করে, প্রায়শই একটি বিষয়বস্তু হ্যাশ দ্বারা চিহ্নিত করে এবং সেগুলিকে গিট বা প্রম্পট রেজিস্ট্রিতে সংরক্ষণ করে। রিগ্রেশন টেস্টিংয়ের জন্য একটি মূল্যায়ন ডেটাসেট প্রয়োজন, যাকে প্রায়শই একটি গোল্ডেন সেট বলা হয়: প্রতিনিধি বাস্তব ইনপুট, পরিচিত এজ কেস এবং অতীতের উত্পাদন ব্যর্থতাগুলি পরীক্ষার ক্ষেত্রে পরিণত হয়। গ্রেডারের রেঞ্জ কঠোর থেকে অস্পষ্ট পর্যন্ত: সঠিক মিল, JSON স্কিমা বৈধতা, নিয়মিত অভিব্যক্তি, কোড-ভিত্তিক চেক, একটি রুব্রিকের বিরুদ্ধে স্কোর করা একজন LLM বিচারক এবং নমুনার পর্যায়ক্রমিক মানব পর্যালোচনা। স্যুটটি প্রতিটি পরিবর্তনে স্বয়ংক্রিয়ভাবে চলে এবং শেষ গৃহীত বেসলাইনের সাথে ফলাফলের তুলনা করে। মডেল পরিবর্তনগুলি প্রম্পট সম্পাদনার মতোই ঝুঁকিপূর্ণ৷ প্রদানকারীর উপনাম যেমন একটি জেনেরিক সর্বশেষ মডেলের নাম সময়ের সাথে সাথে নতুন সংস্করণের দিকে নির্দেশ করতে পারে এবং পুরানো স্ন্যাপশটগুলি অবমূল্যায়িত হয়ে যায়। একটি তারিখযুক্ত স্ন্যাপশট পিন করা এবং স্যুইচ করার আগে স্যুটটি পুনরায় চালানো একটি ইচ্ছাকৃত সিদ্ধান্তে নীরব প্রবাহকে পরিণত করে। বেশ কিছু ভুল ধারণা সমস্যা সৃষ্টি করে। কয়েকটি ম্যানুয়াল স্পট চেক বিরল ব্যর্থতা মিস করে। তাপমাত্রা 0 এলোমেলোতা হ্রাস করে কিন্তু রান জুড়ে অভিন্ন আউটপুট গ্যারান্টি দেয় না। উচ্চতর এলএলএম-বিচারক স্কোর স্বয়ংক্রিয়ভাবে ভাল হয় না, কারণ বিচারকদের পক্ষপাত রয়েছে যেমন দীর্ঘ উত্তরের পক্ষে। কারণ আউটপুট পরিবর্তিত হয়, ভাল স্যুটগুলি সঠিক স্ট্রিং সমতা দাবি করার পরিবর্তে থ্রেশহোল্ড এবং পুনরাবৃত্তি নমুনা ব্যবহার করে। বাণিজ্যিক মূল্যায়ন প্ল্যাটফর্ম সহ promptfoo-এর মতো ওপেন-সোর্স সরঞ্জামগুলি এই ওয়ার্কফ্লোগুলিকে সমর্থন করে, তবে CI-তে একটি সাধারণ স্ক্রিপ্টও কাজ করতে পারে।
একটি সমর্থন-বট দল গিটে টেমপ্লেট ফাইল হিসাবে প্রম্পট রাখে; প্রতিটি পুল অনুরোধ একটি CI কাজকে ট্রিগার করে যা 300টি সংরক্ষিত গ্রাহকের প্রশ্ন চালায় এবং সঠিক নীতির উত্তরগুলির ভাগ বর্তমান বেসলাইনের নীচে নেমে গেলে মার্জ ব্লক করে।
একটি চালান-নিষ্কাশন পাইপলাইন একটি তারিখের মডেল স্ন্যাপশট পিন করে; একটি নতুন স্ন্যাপশটে যাওয়ার আগে, দলটি উভয়ের উপর তার সোনালি সেট চালায় এবং JSON আউটপুট ক্ষেত্রের মধ্যে পার্থক্য পর্যালোচনা করে।
একটি পণ্য ব্যবস্থাপক একটি প্রম্পটের টোন নির্দেশাবলী সম্পাদনা করে; রিগ্রেশন স্যুট বন্ধুত্বপূর্ণ উত্তর দেখায় কিন্তু আরও উত্তরে একটি প্রয়োজনীয় দাবিত্যাগ অনুপস্থিত, তাই প্রকাশের আগে পরিবর্তনটি সংশোধন করা হয়।
একটি দল প্রতিটি উত্পাদন অনুরোধের সাথে প্রম্পট সংস্করণ আইডি লগ করে, তাই যখন অভিযোগগুলি স্পাইক হয় তারা সমস্যাটিকে একটি নির্দিষ্ট স্থাপনার সাথে সংযুক্ত করতে পারে এবং কয়েক মিনিটের মধ্যে ফিরে আসতে পারে।
স্বয়ংক্রিয় মূল্যায়ন এলএলএম অ্যাপ্লিকেশন তৈরির একটি রুটিন অংশ হয়ে উঠছে, যেমন ইউনিট পরীক্ষা সফ্টওয়্যারের জন্য রুটিন হয়ে উঠেছে। সম্ভাব্য দিকনির্দেশগুলির মধ্যে রয়েছে উত্পাদন পর্যবেক্ষণ এবং পরীক্ষার সেটগুলির মধ্যে শক্ত লিঙ্ক, তাই প্রকৃত ব্যর্থতাগুলি স্বয়ংক্রিয়ভাবে স্যুটে প্রবাহিত হয় এবং এলএলএম বিচারকদের আরও যাচাই-বাছাই, যাদের নির্ভরযোগ্যতা কাজের দ্বারা পরিবর্তিত হয়। মডেল অবমূল্যায়ন সময়সূচী জোর করে মাইগ্রেশন করতে থাকবে, যা সময়ের সাথে সাথে একটি বিশ্বস্ত রিগ্রেশন স্যুটকে আরও মূল্যবান করে তোলে। এর কোনটিই উচ্চ-স্টেকের আউটপুটগুলির মানব পর্যালোচনার প্রয়োজনীয়তাকে সরিয়ে দেয় না।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রম্পট ভার্সনিং এবং রিগ্রেশন টেস্টিং মানে প্রতিটি প্রম্পটকে একটি ভার্সন করা আর্টিফ্যাক্ট হিসাবে সংরক্ষণ করা এবং যখনই প্রম্পট, মডেল বা পার্শ্ববর্তী কোড পরিবর্তন হয় তখনই স্বয়ংক্রিয়ভাবে একটি মূল্যায়ন স্যুট পুনরায় চালানো। এটি গুরুত্বপূর্ণ কারণ একটি ছোট শব্দ সম্পাদনা বা একটি প্রদানকারী মডেল আপডেট নিঃশব্দে আউটপুটগুলি ভেঙে দিতে পারে যা ব্যবহারকারী এবং ডাউনস্ট্রিম সিস্টেম নির্ভর করে।
আউটপুট সম্পূর্ণ কনফিগারেশনের উপর নির্ভর করে, তাই যেকোনো অংশ পরিবর্তন করলে আচরণ পরিবর্তন হতে পারে।
উপনামগুলি সময়ের সাথে সাথে নতুন সংস্করণের দিকে নির্দেশ করতে পারে, যার ফলে নীরব প্রবাহ ঘটে। পিনিং আপগ্রেডকে পরীক্ষিত সিদ্ধান্তে পরিণত করে।
আউটপুট এখনও তাপমাত্রা 0 এ পরিবর্তিত হতে পারে, তাই পরীক্ষার সঠিক সমতার উপর নির্ভর করা উচিত নয়।
যেহেতু আউটপুট পরিবর্তিত হয়, স্যুটগুলি বেসলাইনের সাথে পাসের হার তুলনা করে এবং একাধিকবার নমুনা দিতে পারে।
প্রকৃত ব্যর্থতাকে পরীক্ষায় রূপান্তর করা নিশ্চিত করে যে একই ভুল যদি ফিরে আসে তাহলে ধরা পড়ে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
প্রম্পট পরীক্ষা করার জন্য LLM খেলার মাঠ ব্যবহার করা
টেকনিক্যাল