প্রযুক্তিগত গাইড

প্রম্পট সংস্করণ এবং রিগ্রেশন টেস্টিং

প্রম্পট ভার্সনিং এবং রিগ্রেশন টেস্টিং মানে প্রতিটি প্রম্পটকে একটি ভার্সন করা আর্টিফ্যাক্ট হিসাবে সংরক্ষণ করা এবং যখনই প্রম্পট, মডেল বা পার্শ্ববর্তী কোড পরিবর্তন হয় তখনই স্বয়ংক্রিয়ভাবে একটি মূল্যায়ন স্যুট পুনরায় চালানো।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়4 মিনিট পড়া
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. প্রম্পট সংস্করণ এবং রিগ্রেশন পরীক্ষার ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি গুরুত্বপূর্ণ কারণ একটি ছোট শব্দ সম্পাদনা বা একটি প্রদানকারী মডেল আপডেট নিঃশব্দে আউটপুটগুলি ভেঙে দিতে পারে যা ব্যবহারকারী এবং ডাউনস্ট্রিম সিস্টেম নির্ভর করে।

গভীর ডুব

প্রম্পটে যুক্তি রয়েছে: নির্দেশাবলী, সীমাবদ্ধতা, উদাহরণ এবং আউটপুট ফর্ম্যাট যা একটি অ্যাপ্লিকেশন কী করে তা নির্ধারণ করে। নৈমিত্তিক টেক্সট স্ট্রিং হিসাবে তাদের আচরণ ট্র্যাকড এডিট এবং উত্পাদন বিস্ময় বাড়ে. তাদের কোডের মতো আচরণ করা মানে সংস্করণ নিয়ন্ত্রণ, পর্যালোচনা, স্বয়ংক্রিয় পরীক্ষা এবং নিয়ন্ত্রিত প্রকাশ। প্রম্পট শব্দের চেয়ে সংস্করণের প্রয়োজন কী। আউটপুট সম্পূর্ণ কনফিগারেশনের উপর নির্ভর করে: সিস্টেম প্রম্পট, টেমপ্লেট এবং এর ভেরিয়েবল, কয়েকটি-শট উদাহরণ, টুল বা ফাংশন স্কিমা, মডেল শনাক্তকারী, নমুনা প্যারামিটার যেমন তাপমাত্রা এবং সর্বোচ্চ টোকেন, এবং নথিগুলি ইনজেকশন করা হলে পুনরুদ্ধার সেটিংস। যে কোনো একটি পরিবর্তন করা আচরণ পরিবর্তন করতে পারে, তাই দলগুলি তাদের একসাথে সংস্করণ করে, প্রায়শই একটি বিষয়বস্তু হ্যাশ দ্বারা চিহ্নিত করে এবং সেগুলিকে গিট বা প্রম্পট রেজিস্ট্রিতে সংরক্ষণ করে। রিগ্রেশন টেস্টিংয়ের জন্য একটি মূল্যায়ন ডেটাসেট প্রয়োজন, যাকে প্রায়শই একটি গোল্ডেন সেট বলা হয়: প্রতিনিধি বাস্তব ইনপুট, পরিচিত এজ কেস এবং অতীতের উত্পাদন ব্যর্থতাগুলি পরীক্ষার ক্ষেত্রে পরিণত হয়। গ্রেডারের রেঞ্জ কঠোর থেকে অস্পষ্ট পর্যন্ত: সঠিক মিল, JSON স্কিমা বৈধতা, নিয়মিত অভিব্যক্তি, কোড-ভিত্তিক চেক, একটি রুব্রিকের বিরুদ্ধে স্কোর করা একজন LLM বিচারক এবং নমুনার পর্যায়ক্রমিক মানব পর্যালোচনা। স্যুটটি প্রতিটি পরিবর্তনে স্বয়ংক্রিয়ভাবে চলে এবং শেষ গৃহীত বেসলাইনের সাথে ফলাফলের তুলনা করে। মডেল পরিবর্তনগুলি প্রম্পট সম্পাদনার মতোই ঝুঁকিপূর্ণ৷ প্রদানকারীর উপনাম যেমন একটি জেনেরিক সর্বশেষ মডেলের নাম সময়ের সাথে সাথে নতুন সংস্করণের দিকে নির্দেশ করতে পারে এবং পুরানো স্ন্যাপশটগুলি অবমূল্যায়িত হয়ে যায়। একটি তারিখযুক্ত স্ন্যাপশট পিন করা এবং স্যুইচ করার আগে স্যুটটি পুনরায় চালানো একটি ইচ্ছাকৃত সিদ্ধান্তে নীরব প্রবাহকে পরিণত করে। বেশ কিছু ভুল ধারণা সমস্যা সৃষ্টি করে। কয়েকটি ম্যানুয়াল স্পট চেক বিরল ব্যর্থতা মিস করে। তাপমাত্রা 0 এলোমেলোতা হ্রাস করে কিন্তু রান জুড়ে অভিন্ন আউটপুট গ্যারান্টি দেয় না। উচ্চতর এলএলএম-বিচারক স্কোর স্বয়ংক্রিয়ভাবে ভাল হয় না, কারণ বিচারকদের পক্ষপাত রয়েছে যেমন দীর্ঘ উত্তরের পক্ষে। কারণ আউটপুট পরিবর্তিত হয়, ভাল স্যুটগুলি সঠিক স্ট্রিং সমতা দাবি করার পরিবর্তে থ্রেশহোল্ড এবং পুনরাবৃত্তি নমুনা ব্যবহার করে। বাণিজ্যিক মূল্যায়ন প্ল্যাটফর্ম সহ promptfoo-এর মতো ওপেন-সোর্স সরঞ্জামগুলি এই ওয়ার্কফ্লোগুলিকে সমর্থন করে, তবে CI-তে একটি সাধারণ স্ক্রিপ্টও কাজ করতে পারে।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি সমর্থন-বট দল গিটে টেমপ্লেট ফাইল হিসাবে প্রম্পট রাখে; প্রতিটি পুল অনুরোধ একটি CI কাজকে ট্রিগার করে যা 300টি সংরক্ষিত গ্রাহকের প্রশ্ন চালায় এবং সঠিক নীতির উত্তরগুলির ভাগ বর্তমান বেসলাইনের নীচে নেমে গেলে মার্জ ব্লক করে।

একটি চালান-নিষ্কাশন পাইপলাইন একটি তারিখের মডেল স্ন্যাপশট পিন করে; একটি নতুন স্ন্যাপশটে যাওয়ার আগে, দলটি উভয়ের উপর তার সোনালি সেট চালায় এবং JSON আউটপুট ক্ষেত্রের মধ্যে পার্থক্য পর্যালোচনা করে।

একটি পণ্য ব্যবস্থাপক একটি প্রম্পটের টোন নির্দেশাবলী সম্পাদনা করে; রিগ্রেশন স্যুট বন্ধুত্বপূর্ণ উত্তর দেখায় কিন্তু আরও উত্তরে একটি প্রয়োজনীয় দাবিত্যাগ অনুপস্থিত, তাই প্রকাশের আগে পরিবর্তনটি সংশোধন করা হয়।

একটি দল প্রতিটি উত্পাদন অনুরোধের সাথে প্রম্পট সংস্করণ আইডি লগ করে, তাই যখন অভিযোগগুলি স্পাইক হয় তারা সমস্যাটিকে একটি নির্দিষ্ট স্থাপনার সাথে সংযুক্ত করতে পারে এবং কয়েক মিনিটের মধ্যে ফিরে আসতে পারে।

প্রম্পট সংস্করণ এবং রিগ্রেশন পরীক্ষার ভবিষ্যত

স্বয়ংক্রিয় মূল্যায়ন এলএলএম অ্যাপ্লিকেশন তৈরির একটি রুটিন অংশ হয়ে উঠছে, যেমন ইউনিট পরীক্ষা সফ্টওয়্যারের জন্য রুটিন হয়ে উঠেছে। সম্ভাব্য দিকনির্দেশগুলির মধ্যে রয়েছে উত্পাদন পর্যবেক্ষণ এবং পরীক্ষার সেটগুলির মধ্যে শক্ত লিঙ্ক, তাই প্রকৃত ব্যর্থতাগুলি স্বয়ংক্রিয়ভাবে স্যুটে প্রবাহিত হয় এবং এলএলএম বিচারকদের আরও যাচাই-বাছাই, যাদের নির্ভরযোগ্যতা কাজের দ্বারা পরিবর্তিত হয়। মডেল অবমূল্যায়ন সময়সূচী জোর করে মাইগ্রেশন করতে থাকবে, যা সময়ের সাথে সাথে একটি বিশ্বস্ত রিগ্রেশন স্যুটকে আরও মূল্যবান করে তোলে। এর কোনটিই উচ্চ-স্টেকের আউটপুটগুলির মানব পর্যালোচনার প্রয়োজনীয়তাকে সরিয়ে দেয় না।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the Prompt Versioning and Regression Testing quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

প্রম্পট সংস্করণ এবং রিগ্রেশন টেস্টিং কি?

প্রম্পট ভার্সনিং এবং রিগ্রেশন টেস্টিং মানে প্রতিটি প্রম্পটকে একটি ভার্সন করা আর্টিফ্যাক্ট হিসাবে সংরক্ষণ করা এবং যখনই প্রম্পট, মডেল বা পার্শ্ববর্তী কোড পরিবর্তন হয় তখনই স্বয়ংক্রিয়ভাবে একটি মূল্যায়ন স্যুট পুনরায় চালানো। এটি গুরুত্বপূর্ণ কারণ একটি ছোট শব্দ সম্পাদনা বা একটি প্রদানকারী মডেল আপডেট নিঃশব্দে আউটপুটগুলি ভেঙে দিতে পারে যা ব্যবহারকারী এবং ডাউনস্ট্রিম সিস্টেম নির্ভর করে।

একটি প্রম্পট কনফিগারেশন হিসাবে আইটেমগুলির কোন সেটকে একসাথে সংস্করণ করা উচিত?

আউটপুট সম্পূর্ণ কনফিগারেশনের উপর নির্ভর করে, তাই যেকোনো অংশ পরিবর্তন করলে আচরণ পরিবর্তন হতে পারে।

কেন একটি জেনেরিক সর্বশেষ উপনামের পরিবর্তে একটি তারিখযুক্ত মডেল স্ন্যাপশট পিন করবেন?

উপনামগুলি সময়ের সাথে সাথে নতুন সংস্করণের দিকে নির্দেশ করতে পারে, যার ফলে নীরব প্রবাহ ঘটে। পিনিং আপগ্রেডকে পরীক্ষিত সিদ্ধান্তে পরিণত করে।

নির্দেশিকা তাপমাত্রা 0 সম্পর্কে কী বলে?

আউটপুট এখনও তাপমাত্রা 0 এ পরিবর্তিত হতে পারে, তাই পরীক্ষার সঠিক সমতার উপর নির্ভর করা উচিত নয়।

কিভাবে একটি রিগ্রেশন স্যুট ননডেটারমিনিস্টিক আউটপুট পরিচালনা করা উচিত?

যেহেতু আউটপুট পরিবর্তিত হয়, স্যুটগুলি বেসলাইনের সাথে পাসের হার তুলনা করে এবং একাধিকবার নমুনা দিতে পারে।

একটি গোল্ডেন সেটের জন্য নতুন পরীক্ষার ক্ষেত্রে একটি শক্তিশালী উৎস কি?

প্রকৃত ব্যর্থতাকে পরীক্ষায় রূপান্তর করা নিশ্চিত করে যে একই ভুল যদি ফিরে আসে তাহলে ধরা পড়ে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →