পরবর্তী আপপরবর্তী গাইড
মডেল পরীক্ষার জন্য পরিসংখ্যানগত শক্তি এবং নমুনার আকার
টেকনিক্যাল
প্রযুক্তিগত গাইড
প্রম্পট মূল্যায়নে নমুনার আকার হল প্রাসঙ্গিক পরীক্ষার কেসের সংখ্যা যা কর্মক্ষমতা অনুমান করতে বা প্রম্পট সংস্করণের তুলনা করতে ব্যবহৃত হয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
কোন সর্বজনীন ন্যূনতম নেই: প্রয়োজনীয় সংখ্যা ফলাফলের পরিবর্তনশীলতা এবং সনাক্তকরণের যোগ্য পার্থক্যের উপর নির্ভর করে। একটি বড় কিন্তু প্রতিনিধিত্বহীন সেট এখনও বিভ্রান্তিকর উপসংহার তৈরি করতে পারে।
একটি প্রম্পট দৈবক্রমে কয়েকটি উদাহরণে আরও ভাল দেখতে পারে। সিদ্ধান্ত থেকে পরিকল্পনা করুন: কোন মেট্রিক বিষয়গুলি, কোন ক্ষুদ্রতম উন্নতি পরিবর্তনকে ন্যায্যতা দেবে, ফলাফলগুলি কতটা পরিবর্তনশীল এবং আপনি কতটা অনিশ্চয়তা সহ্য করতে পারেন? পরিসংখ্যানগত শক্তি, তাত্পর্য স্তর, বেসলাইন কর্মক্ষমতা এবং নমুনা নকশা প্রয়োজনীয় সংখ্যা প্রভাবিত করে। অনুপাত পরীক্ষার জন্য NIST নির্দেশিকা এই নির্ভরতাগুলিকে স্পষ্ট করে তোলে; এটি দ্রুত মূল্যায়নের জন্য একটি সর্বজনীন গণনা দেয় না। বাইনারি পাস/ফেল ফলাফলের জন্য, লব, হর এবং একটি উপযুক্ত আত্মবিশ্বাসের ব্যবধান রিপোর্ট করুন; উইলসন বিরতি সাধারণত অনুপাতের জন্য সুপারিশ করা হয়। সংস্করণগুলির তুলনা করতে, সেগুলিকে একই প্রতিনিধিত্বমূলক ক্ষেত্রে চালান এবং জোড়া ফলাফল বিশ্লেষণ করুন৷ একটি উৎসের বারবার রূপান্তর বা একটি কথোপকথন থেকে বাঁক পারস্পরিক সম্পর্কযুক্ত হতে পারে। বারবার মডেল জেনারেশন রান-টু-রান বৈচিত্র পরিমাপ করতে পারে, কিন্তু ব্যবহারকারীর ইনপুটগুলিতে বৈচিত্র্য প্রতিস্থাপন করে না। পরীক্ষার আগে মেট্রিক, স্যাম্পলিং ফ্রেম, স্তর, গ্রেডিং নিয়ম এবং সিদ্ধান্তের থ্রেশহোল্ড সংজ্ঞায়িত করুন। সাধারণ এবং প্রান্ত কেস অন্তর্ভুক্ত করুন, এবং টিউনিং ব্যাপক হলে একটি পৃথক হোল্ডআউট রাখুন। ওভারস্যাম্পলিং বিরল নিরাপত্তা ব্যর্থতা আবিষ্কারের জন্য উপযোগী, কিন্তু লক্ষ্য বন্টনের সাথে ওজন না করা পর্যন্ত কাঁচা হারের প্রচলন নেই। একটি নির্দিষ্ট গণনা দাবি করার পরিবর্তে অনিশ্চয়তা এবং অনুমান রিপোর্ট করুন উন্নতি প্রমাণ করে। স্বাধীনতার বিষয়: একটি উৎসের দশটি অনুচ্ছেদ দশটি সম্পর্কহীন কাজের সমতুল্য নয়। কেস পণ্য, ভাষা বা কর্মপ্রবাহ দ্বারা ক্লাস্টার হলে, গ্রুপ রিপোর্ট করুন এবং বিশ্লেষণে নকশাকে সম্মান করুন। পরীক্ষার ক্ষেত্রে প্রম্পট-টিউনিং উদাহরণ থেকে আলাদা রাখুন। কেসগুলি নথি, ব্যবহারকারী বা কর্মপ্রবাহ ভাগ করতে পারে, তাই নতুন প্রমাণ হিসাবে প্রতিটি উত্পন্ন বৈচিত্র্যের পরিবর্তে স্বাধীন নমুনা ইউনিট গণনা করুন। বারবার টিউন করার সময় একটি পৃথক হোল্ডআউট রাখুন, এবং অতিরিক্ত টাস্ক কভারেজ থেকে পুনরাবৃত্তি মডেলটি আলাদা করুন।
কতগুলি ক্ষেত্রে পরীক্ষা করা হবে তা পরিকল্পনা করার আগে সবচেয়ে ছোট দরকারী উন্নতি বেছে নিন।
একই ক্ষেত্রে উভয় সংস্করণ চালান এবং জোড়া জয়, পরাজয় এবং বন্ধন রেকর্ড করুন।
পাসের হারের পাশাপাশি অনিশ্চয়তা রিপোর্ট করুন, বিশেষ করে একটি ছোট সেটের সাথে।
আবিষ্কারের জন্য বিরল বা উচ্চ-তীব্রতার পরীক্ষা যোগ করুন কিন্তু তাদের প্রাদুর্ভাব অনুমান থেকে আলাদা করুন।
সরঞ্জামগুলি পাওয়ার গণনা এবং জোড়া বিশ্লেষণ স্বয়ংক্রিয় করতে পারে, তবে ফলাফলগুলি এখনও কেস ডিস্ট্রিবিউশন, গ্রেডিং নির্ভরযোগ্যতা এবং প্রভাবের আকার সম্পর্কে বাস্তবসম্মত অনুমানের উপর নির্ভর করে। ত্রুটি বিশ্লেষণ এবং লক্ষ্যযুক্ত নিরাপত্তা পরীক্ষার সাথে পরিসংখ্যানগত সারাংশ একত্রিত করুন। আরও তথ্য একটি পক্ষপাতদুষ্ট নমুনা বা অবৈধ গ্রেডারের মেরামত করতে পারে না। মূল্যায়ন প্ল্যাটফর্মগুলি বড় স্যুটগুলির সংগ্রহকে সহজ করতে পারে, তবে ভলিউম একটি শব্দ স্যাম্পলিং ফ্রেম প্রতিস্থাপন করতে পারে না। ভবিষ্যত টুল জোড়া এবং স্তরিত রিপোর্ট উন্নত করতে পারে. কেসগুলি কোন জনসংখ্যার প্রতিনিধিত্ব করে এবং কোন ইনপুটগুলি নমুনা করা হয়নি তা ব্যাখ্যা করুন। মূল্যায়ন প্ল্যাটফর্মগুলি গণনা স্বয়ংক্রিয় করতে পারে, কিন্তু নমুনা নকশা এবং গ্রেডারের বৈধতা দলের দায়িত্ব থেকে যায়। স্যাম্পলিং ফ্রেম, পেয়ারিং বা ক্লাস্টারিং, মেট্রিক এবং অনিশ্চয়তা প্রকাশ করুন যাতে পাঠকরা বলতে পারে অনুমানটি কী করে এবং কী প্রতিনিধিত্ব করে না৷
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রম্পট মূল্যায়নে নমুনার আকার হল প্রাসঙ্গিক পরীক্ষার কেসের সংখ্যা যা কর্মক্ষমতা অনুমান করতে বা প্রম্পট সংস্করণের তুলনা করতে ব্যবহৃত হয়। কোন সর্বজনীন ন্যূনতম নেই: প্রয়োজনীয় সংখ্যা ফলাফলের পরিবর্তনশীলতা এবং সনাক্তকরণের যোগ্য পার্থক্যের উপর নির্ভর করে। একটি বড় কিন্তু প্রতিনিধিত্বহীন সেট এখনও বিভ্রান্তিকর উপসংহার তৈরি করতে পারে।
লক্ষ্য পার্থক্য, ফলাফল পরিবর্তনশীলতা এবং অনুমান লক্ষ্যগুলির সাথে প্রয়োজনীয় নমুনা পরিবর্তন।
একটি ব্যবধান আনুমানিক অনুপাতে অনিশ্চয়তা যোগাযোগ করে।
বারবার রান সেই ইনপুটের জন্য ভিন্নতা দেখায়, নতুন ইনপুট কভারেজ নয়।
একটি লক্ষ্যযুক্ত নমুনা মূল্যবান কিন্তু স্বয়ংক্রিয়ভাবে প্রতিনিধি নয়।
এই নকশা পছন্দ নির্ভুলতা বা শক্তি প্রয়োজনীয়তা নির্ধারণ.
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
মডেল পরীক্ষার জন্য পরিসংখ্যানগত শক্তি এবং নমুনার আকার
টেকনিক্যাল