পরবর্তী আপপরবর্তী গাইড
কতগুলি পরীক্ষার ক্ষেত্রে একটি প্রম্পট মূল্যায়ন প্রয়োজন
টেকনিক্যাল
প্রযুক্তিগত গাইড
পরিসংখ্যানগত শক্তি হল সম্ভাব্যতা একটি পরীক্ষা তার অনুমানের অধীনে একটি নির্দিষ্ট প্রভাব সনাক্ত করে, এবং নমুনা-আকার পরিকল্পনা অনুমান করে যে একটি নির্বাচিত ত্রুটির হার এবং সনাক্তযোগ্য প্রভাবের জন্য কত ডেটা প্রয়োজন।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
মডেল পরীক্ষা-নিরীক্ষার জন্য এমন পরিকল্পনার প্রয়োজন যা ফলাফলের ভিন্নতা, অ্যাসাইনমেন্ট ইউনিট, বারবার পরিমাপ এবং একাধিক মেট্রিক্সের জন্য একটি সার্বজনীন নমুনা গণনার উপর নির্ভর না করে।
নমুনা আকার, ফলাফল পরিবর্তনশীলতা, তাত্পর্য থ্রেশহোল্ড এবং পরিসংখ্যানগত শক্তির সাথে সনাক্ত করার জন্য একটি পরীক্ষা ডিজাইন করা হয়েছে এমন প্রভাবকে শক্তি বিশ্লেষণ করে। পাওয়ার হল 1 বিয়োগ একটি নির্দিষ্ট বিকল্পের অধীনে টাইপ II ত্রুটির সম্ভাবনা। ফলাফল সত্য হওয়ার সম্ভাবনা নেই। একটি ন্যূনতম সনাক্তযোগ্য প্রভাব (MDE) হল পরিকল্পনায় ব্যবহৃত প্রভাবের আকার; একটি MDE নির্বাচন করা শনাক্ত করার যোগ্য ক্ষুদ্রতম পরিবর্তন সম্পর্কে সিদ্ধান্তের প্রান্তিকতা প্রকাশ করে। সাধারণ স্ট্যান্ডার্ড বিচ্যুতি সিগমার সাথে একটি অবিচ্ছিন্ন গড় তুলনা করে দুটি স্বাধীন সমান-আকারের গোষ্ঠীর জন্য, একটি দ্বি-পার্শ্বযুক্ত পরীক্ষার জন্য প্রতি বাহুতে একটি মোটামুটি স্বাভাবিক-আনুমানিক নমুনার আকার হল 2*(z_(1-আলফা/2)+z_(1-বিটা))^2*সিগমা^2/ডেল্টা^2। আলফা 0.05, পাওয়ার 0.80, সিগমা 10 এবং ডেল্টা 2 সহ, z এর মানগুলি প্রায় 1.96 এবং 0.84। গণনা হল 2*(2.8)^2*100/4, প্রতি গ্রুপে প্রায় 392। এটি একটি অনুমানমূলক অনুমান, একটি সর্বজনীন প্রেসক্রিপশন নয়; সঠিক পরীক্ষা, অসম বরাদ্দ, বেসলাইন সমন্বয় এবং সসীম নমুনা পরিবর্তন প্রয়োজনীয়তা. বাইনারি ফলাফল, হেভি-টেইল্ড মেট্রিক্স, বারবার ব্যবস্থা, ক্লাস্টার অ্যাসাইনমেন্ট এবং কম ট্র্যাফিকের জন্য উপযুক্ত পদ্ধতির প্রয়োজন। ব্যবহারকারীদের দল বা অঞ্চল দ্বারা গোষ্ঠীবদ্ধ করা হলে, সম্পর্কযুক্ত ফলাফল কার্যকর তথ্য হ্রাস করে। একাধিক মেট্রিক্স বা বৈকল্পিক তুলনার জন্য বহুবিধ পরিকল্পনার প্রয়োজন হতে পারে। পরীক্ষার সময়কাল ট্রাফিক প্যাটার্ন, ঋতু, লেবেল বিলম্ব এবং সম্পূর্ণ আচরণগত চক্র কভার করার প্রয়োজনীয়তার উপরও নির্ভর করে। প্রাসঙ্গিক ঐতিহাসিক তথ্য থেকে প্রকরণ এবং বেসলাইন হার অনুমান করুন, লঞ্চের আগে প্রাথমিক এবং গার্ডেল মেট্রিক্স, র্যান্ডমাইজেশন ইউনিট, আলফা, পাওয়ার এবং MDE সংজ্ঞায়িত করুন। প্রচলিত স্থির-দিগন্ত পি-মানগুলি বারবার পরীক্ষা করা এড়িয়ে চলুন এবং একটি বৈধ অনুক্রমিক পদ্ধতি ব্যবহার না করা পর্যন্ত তাৎপর্য উপস্থিত হওয়ার সাথে সাথে থামুন। রিপোর্ট নমুনা আকার, আত্মবিশ্বাসের ব্যবধান এবং অনিশ্চয়তা অর্জন. কম ক্ষমতাসম্পন্ন পরীক্ষাগুলি অর্থপূর্ণ প্রভাব মিস করতে পারে; খুব বড় পরীক্ষাগুলি বস্তুর তুলনায় খুব ছোট পরিবর্তন সনাক্ত করতে পারে। পরিসংখ্যানগত শক্তি একটি পরিকল্পনাকে সমর্থন করে, তবে সিদ্ধান্তের মানও অপারেশনাল খরচ, ক্ষতি এবং পরিমাপের মানের উপর নির্ভর করে।
একটি অবিচ্ছিন্ন ফলাফল সহ একটি অনুমানমূলক দ্বি-বাহু পরীক্ষার জন্য, আদর্শ বিচ্যুতি 10, দ্বি-পার্শ্বযুক্ত আলফা 0.05 এবং 2 এর গড় পার্থক্য সনাক্ত করার জন্য 80% শক্তি, একটি সাধারণ অনুমান প্রতি বাহুতে প্রায় 392টি স্বাধীন পর্যবেক্ষণ দেয়।
একটি মডেল পরিবর্তন শুধুমাত্র সামান্য একটি ক্লিক হার উন্নতি আশা করা হচ্ছে. টিম লঞ্চ করার আগে প্রয়োজনীয় নমুনার আকার গণনা করে এবং যোগ্য ট্র্যাফিক রেট দীর্ঘ সময়কাল বোঝালে পরীক্ষাটি প্রসারিত করে।
একটি ক্লাস্টার-এলোমেলো পরীক্ষা মানুষের পরিবর্তে পুরো দলকে বরাদ্দ করে। দলের মধ্যে সাদৃশ্য কার্যকর নমুনার আকার হ্রাস করে, তাই প্রতিটি ব্যক্তিকে স্বাধীন হিসাবে বিবেচনা করার পরিবর্তে পরিকল্পনাটি ক্লাস্টারিংয়ের জন্য দায়ী।
একটি দল অনেক মডেলের রূপ এবং মেট্রিক্স পরীক্ষা করে। এটি পরীক্ষার নকশা সামঞ্জস্য করে বা প্রাথমিক ফলাফলকে সংকুচিত করে কারণ একাধিক তুলনা এবং বারবার উঁকি দেওয়া মিথ্যা-ইতিবাচক ঝুঁকি বাড়াতে পারে।
পরীক্ষা পরিকল্পনা উন্নত হতে পারে যখন দলগুলি একটি অর্থপূর্ণ পণ্যের সিদ্ধান্তের সাথে MDE কে বেঁধে রাখে, বর্তমান বৈচিত্র্য অনুমান ব্যবহার করে এবং ট্র্যাফিক, ক্লাস্টারিং এবং বিলম্বিত ফলাফলগুলি অনুকরণ করে। প্রাথমিক ফলাফলের প্রাক-নিবন্ধন এবং নিয়ম বন্ধ করা ফলাফল ব্যাখ্যা করা সহজ করে তোলে। বিশ্লেষকদের উচিত আত্মবিশ্বাসের ব্যবধান এবং পি-মূল্যের সাথে ব্যবহারিক প্রভাবের প্রতিবেদন করা। মডেল পরীক্ষাগুলি আরও জটিল হওয়ার সাথে সাথে সঠিকভাবে ডিজাইন করা হলে অনুক্রমিক এবং প্রকরণ-হ্রাস পদ্ধতিগুলি মূল্যায়নকে ছোট করতে পারে। একটি স্বচ্ছ শক্তি গণনা ব্যবহারকারীর এক্সপোজার শুরু হওয়ার আগে সময়কাল এবং অনিশ্চয়তার জন্য প্রত্যাশা সেট করতে সহায়তা করে। ট্রাফিক শুরু হওয়ার আগে বিশ্লেষণ পরিকল্পনা রেকর্ড করুন।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
পরিসংখ্যানগত শক্তি হল সম্ভাব্যতা একটি পরীক্ষা তার অনুমানের অধীনে একটি নির্দিষ্ট প্রভাব সনাক্ত করে, এবং নমুনা-আকার পরিকল্পনা অনুমান করে যে একটি নির্বাচিত ত্রুটির হার এবং সনাক্তযোগ্য প্রভাবের জন্য কত ডেটা প্রয়োজন। মডেল পরীক্ষা-নিরীক্ষার জন্য এমন পরিকল্পনার প্রয়োজন যা ফলাফলের ভিন্নতা, অ্যাসাইনমেন্ট ইউনিট, বারবার পরিমাপ এবং একাধিক মেট্রিক্সের জন্য একটি সার্বজনীন নমুনা গণনার উপর নির্ভর না করে।
2*(1.96+0.84)^2*10^2/2^2 ব্যবহার করলে প্রতি বাহুতে প্রায় 392টি পর্যবেক্ষণ পাওয়া যায়।
প্রভাবের বর্গক্ষেত্রের সাথে নমুনার আকার বিপরীতভাবে পরিবর্তিত হয়, তাই এটিকে অর্ধেক করলে n চার দ্বারা গুণিত হয়।
শক্তি হল বিকল্পের অধীনে নির্দিষ্ট প্রভাব সনাক্ত করার সম্ভাবনা, 1-বিটার সমান।
MDE হল পরিকল্পনার প্রভাবের আকার, পর্যবেক্ষণ করা প্রভাবের প্রতিশ্রুতি নয়।
ক্লাস্টারের মধ্যে পারস্পরিক সম্পর্ক স্বাধীন অ্যাসাইনমেন্টের তুলনায় কার্যকর নমুনার আকার হ্রাস করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
কতগুলি পরীক্ষার ক্ষেত্রে একটি প্রম্পট মূল্যায়ন প্রয়োজন
টেকনিক্যাল