প্রম্পট সংস্করণ এবং রিগ্রেশন টেস্টিং

প্রম্পটে যুক্তি রয়েছে: নির্দেশাবলী, সীমাবদ্ধতা, উদাহরণ এবং আউটপুট ফর্ম্যাট যা একটি অ্যাপ্লিকেশন কী করে তা নির্ধারণ করে। নৈমিত্তিক টেক্সট স্ট্রিং হিসাবে তাদের আচরণ ট্র্যাকড এডিট এবং উত্পাদন বিস্ময় বাড়ে. তাদের কোডের মতো আচরণ করা মানে সংস্করণ নিয়ন্ত্রণ, পর্যালোচনা, স্বয়ংক্রিয় পরীক্ষা এবং নিয়ন্ত্রিত প্রকাশ। প্রম্পট শব্দের চেয়ে সংস্করণের প্রয়োজন কী। আউটপুট সম্পূর্ণ কনফিগারেশনের উপর নির্ভর করে: সিস্টেম প্রম্পট, টেমপ্লেট এবং এর ভেরিয়েবল, কয়েকটি-শট উদাহরণ, টুল বা ফাংশন স্কিমা, মডেল শনাক্তকারী, নমুনা প্যারামিটার যেমন তাপমাত্রা এবং সর্বোচ্চ টোকেন, এবং নথিগুলি ইনজেকশন করা হলে পুনরুদ্ধার সেটিংস। যে কোনো একটি পরিবর্তন করা আচরণ পরিবর্তন করতে পারে, তাই দলগুলি তাদের একসাথে সংস্করণ করে, প্রায়শই একটি বিষয়বস্তু হ্যাশ দ্বারা চিহ্নিত করে এবং সেগুলিকে গিট বা প্রম্পট রেজিস্ট্রিতে সংরক্ষণ করে। রিগ্রেশন টেস্টিংয়ের জন্য একটি মূল্যায়ন ডেটাসেট প্রয়োজন, যাকে প্রায়শই একটি গোল্ডেন সেট বলা হয়: প্রতিনিধি বাস্তব ইনপুট, পরিচিত এজ কেস এবং অতীতের উত্পাদন ব্যর্থতাগুলি পরীক্ষার ক্ষেত্রে পরিণত হয়। গ্রেডারের রেঞ্জ কঠোর থেকে অস্পষ্ট পর্যন্ত: সঠিক মিল, JSON স্কিমা বৈধতা, নিয়মিত অভিব্যক্তি, কোড-ভিত্তিক চেক, একটি রুব্রিকের বিরুদ্ধে স্কোর করা একজন LLM বিচারক এবং নমুনার পর্যায়ক্রমিক মানব পর্যালোচনা। স্যুটটি প্রতিটি পরিবর্তনে স্বয়ংক্রিয়ভাবে চলে এবং শেষ গৃহীত বেসলাইনের সাথে ফলাফলের তুলনা করে। মডেল পরিবর্তনগুলি প্রম্পট সম্পাদনার মতোই ঝুঁকিপূর্ণ৷ প্রদানকারীর উপনাম যেমন একটি জেনেরিক সর্বশেষ মডেলের নাম সময়ের সাথে সাথে নতুন সংস্করণের দিকে নির্দেশ করতে পারে এবং পুরানো স্ন্যাপশটগুলি অবমূল্যায়িত হয়ে যায়। একটি তারিখযুক্ত স্ন্যাপশট পিন করা এবং স্যুইচ করার আগে স্যুটটি পুনরায় চালানো একটি ইচ্ছাকৃত সিদ্ধান্তে নীরব প্রবাহকে পরিণত করে। বেশ কিছু ভুল ধারণা সমস্যা সৃষ্টি করে। কয়েকটি ম্যানুয়াল স্পট চেক বিরল ব্যর্থতা মিস করে। তাপমাত্রা 0 এলোমেলোতা হ্রাস করে কিন্তু রান জুড়ে অভিন্ন আউটপুট গ্যারান্টি দেয় না। উচ্চতর এলএলএম-বিচারক স্কোর স্বয়ংক্রিয়ভাবে ভাল হয় না, কারণ বিচারকদের পক্ষপাত রয়েছে যেমন দীর্ঘ উত্তরের পক্ষে। কারণ আউটপুট পরিবর্তিত হয়, ভাল স্যুটগুলি সঠিক স্ট্রিং সমতা দাবি করার পরিবর্তে থ্রেশহোল্ড এবং পুনরাবৃত্তি নমুনা ব্যবহার করে। বাণিজ্যিক মূল্যায়ন প্ল্যাটফর্ম সহ promptfoo-এর মতো ওপেন-সোর্স সরঞ্জামগুলি এই ওয়ার্কফ্লোগুলিকে সমর্থন করে, তবে CI-তে একটি সাধারণ স্ক্রিপ্টও কাজ করতে পারে।