পরবর্তী আপপরবর্তী গাইড
সিলুয়েট স্কোর এবং ক্লাস্টার মূল্যায়ন
টেকনিক্যাল
প্রযুক্তিগত গাইড
ব্রিয়ার স্কোর প্রকৃতপক্ষে ঘটে যাওয়া ফলাফলের সাথে পূর্বাভাসিত সম্ভাব্যতার তুলনা করে সম্ভাব্যতার পূর্বাভাসে ত্রুটি পরিমাপ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি আপনাকে একটি AI সিস্টেমের আত্মবিশ্বাস কার্যকর কিনা তা মূল্যায়ন করতে সাহায্য করে, এমনকি যখন দুটি সিস্টেম একই হ্যাঁ বা না ভবিষ্যদ্বাণী করে।
একটি শ্রেণীবিভাগ মডেল একটি লেবেল এবং একটি সম্ভাব্যতা উভয়ই আউটপুট করতে পারে। একটি ডেলিভারি সিস্টেম 0.6 এবং 0.9 এর সম্ভাব্যতা নির্ধারণ করার সময় দুটি পার্সেল দেরিতে কল করতে পারে। একটি থ্রেশহোল্ড লেবেলে রূপান্তর করার পরে নির্ভুলতা সেই ভবিষ্যদ্বাণীগুলিকে একইভাবে বিবেচনা করে৷ ব্রিয়ার স্কোর আত্মবিশ্বাসের পার্থক্য রক্ষা করে। একটি বাইনারি ইভেন্টের জন্য, ঘটনাকে 1 হিসাবে এনকোড করুন এবং 0 হিসাবে অসংগতি করুন৷ পূর্বাভাসিত সম্ভাব্যতা থেকে ফলাফল বিয়োগ করুন, পার্থক্যটি বর্গ করুন এবং সমস্ত ক্ষেত্রে গড় করুন৷ সাধারণভাবে ব্যবহৃত বাইনারি কনভেনশনে, ফলাফলের রেঞ্জ 0 থেকে 1 পর্যন্ত, ছোট মানগুলি কম সম্ভাব্যতার ত্রুটি নির্দেশ করে। সর্বদা যে ইভেন্টের পূর্বাভাস দেওয়া হচ্ছে তা চিহ্নিত করুন: দেরিতে পৌঁছানোর সম্ভাবনাকে একটি লেবেলের সাথে তুলনা করা যায় না যার অর্থ সময়মতো পৌঁছানো। 0.8 এবং 0.3 এর দেরী-আগমন সম্ভাবনা সহ দুটি অনুমানমূলক পার্সেল বিবেচনা করুন। প্রথমটি দেরিতে এবং দ্বিতীয়টি যথাসময়ে। তাদের ক্ষতি হল 0.04 এবং 0.09, গড়ে 0.065 উৎপন্ন করে। এগুলি পাটিগণিতের উদাহরণ, কোনও স্থাপন করা পণ্য বা গবেষণা অধ্যয়নের ফলাফল নয়। স্কোর একটি অর্থপূর্ণ তুলনা প্রয়োজন. একটি কম স্কোর অর্জন করা সহজ হতে পারে যখন ঘটনা প্রায় কখনই ঘটে না। একই মূল্যায়নের ক্ষেত্রে একটি সাধারণ বেসলাইনের সাথে মডেলটির তুলনা করুন এবং ইভেন্টের হার রিপোর্ট করুন। দাবি করবেন না যে একটি নির্দিষ্ট স্কোর সম্পর্কহীন ডেটাসেট জুড়ে সর্বজনীনভাবে ভাল। এছাড়াও ক্রমাঙ্কন পরিদর্শন করুন: অনুরূপ সম্ভাব্যতা নির্ধারিত ক্ষেত্রে, ঘটনাটি কত ঘন ঘন ঘটে? একটি কম ব্রিয়ার স্কোর একাই ভাল ক্রমাঙ্কন প্রমাণ করে না কারণ স্কোরটি বিভিন্ন ঝুঁকির সাথে পৃথক কেসকেও পুরস্কৃত করে। স্কিট-লার্ন ডকুমেন্টস সম্ভাব্যতা স্কোরিং এবং ক্রমাঙ্কন সরঞ্জাম উভয়ই। একটি উপযুক্ত মূল্যায়ন বিভাজন সহ, তারা বিশ্বাসযোগ্য-সুদর্শন সংখ্যা থেকে দরকারী আত্মবিশ্বাসকে আলাদা করতে সাহায্য করে।
একটি কাল্পনিক বিতরণ পূর্বাভাসে, একটি পার্সেল দেরিতে পৌঁছানোর 70% পূর্বাভাস সম্ভাবনা রয়েছে এবং দেরিতে পৌঁছায়। এর বাইনারি ব্রিয়ার লস হল 0.7 বিয়োগ 1 এর বর্গ, যা 0.09।
দুটি অনুমানমূলক পূর্বাভাস উভয়ই 50% সিদ্ধান্তের থ্রেশহোল্ড ব্যবহার করে দেরী ডেলিভারির পূর্বাভাস দেয়। যদি এটি সময়মতো পৌঁছায়, একটি 60% পূর্বাভাস 0.36 এর ক্ষতি করে, যখন 90% পূর্বাভাস 0.81 এর ক্ষতি করে।
একটি সমর্থন দল তার টিকিট-এস্কেলেশন মডেলকে একটি বেসলাইনের সাথে তুলনা করে যা প্রশিক্ষণের ডেটাতে পরিমাপ করা বৃদ্ধির হারের পূর্বাভাস দেয়। এটি একই পরবর্তী টিকিটে উভয়ের মূল্যায়ন করে।
একজন বিশ্লেষক সম্ভাব্যতা মূল্যায়ন করতে স্কিট-লার্নের brier_score_loss ব্যবহার করেন এবং কোন আত্মবিশ্বাসের পরিসরগুলি বিভ্রান্তিকর তা পরিদর্শন করার জন্য একটি ক্রমাঙ্কন প্লট ব্যবহার করেন। এই চেকগুলি সম্পর্কিত কিন্তু ভিন্ন প্রশ্নের উত্তর দেয়।
যত বেশি AI ইন্টারফেস আত্মবিশ্বাস প্রদর্শন করে, দলগুলির মূল্যায়নের প্রয়োজন হবে যা পরীক্ষা করে সেই সংখ্যাগুলি অনুশীলনে কী বোঝায়। একটি কার্যকর পরবর্তী পদক্ষেপ হল ফলাফল আসার আগে পূর্বাভাস সংরক্ষণ করা এবং স্থিতিশীল শনাক্তকারী ব্যবহার করে পরবর্তী ফলাফলগুলিতে তাদের যোগদান করা। প্রতিবেদনে একটি বেসলাইন, ক্রমাঙ্কন পরীক্ষা এবং মূল্যায়ন করা মামলার সংখ্যার পাশাপাশি ব্রিয়ার স্কোর দেখানো উচিত। দলগুলির প্রাসঙ্গিক গোষ্ঠী এবং সময়কালগুলিও পরীক্ষা করা উচিত, যেহেতু সামগ্রিক গড় অবনতি লুকাতে পারে। এই কর্মপ্রবাহ নির্ভর করে নির্ভরযোগ্য ফলাফল সংগ্রহের উপর; শুধুমাত্র একটি আত্মবিশ্বাসের শতাংশ প্রদর্শন করা প্রমাণ করে না যে এটি পরীক্ষা করা হয়েছে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
ব্রিয়ার স্কোর প্রকৃতপক্ষে ঘটে যাওয়া ফলাফলের সাথে পূর্বাভাসিত সম্ভাব্যতার তুলনা করে সম্ভাব্যতার পূর্বাভাসে ত্রুটি পরিমাপ করে। এটি আপনাকে একটি AI সিস্টেমের আত্মবিশ্বাস কার্যকর কিনা তা মূল্যায়ন করতে সাহায্য করে, এমনকি যখন দুটি সিস্টেম একই হ্যাঁ বা না ভবিষ্যদ্বাণী করে।
ঘটনাটি 1 হিসাবে এনকোড করা হয়েছে, তাই বর্গক্ষেত্রের পার্থক্য হল (0.7 বিয়োগ 1) বর্গ, বা 0.09৷
স্কোর গড় করে স্বতন্ত্র বর্গক্ষেত্রের ত্রুটি: (0.04 যোগ 0.09) দুই দ্বারা ভাগ করলে 0.065 হয়।
ইতিবাচক ফলাফল এবং পূর্বাভাস সম্ভাব্যতা একই ঘটনা বর্ণনা করতে হবে; অন্যথায় গণনা অমিল পরিমাণ পরিমাপ করে।
ব্রিয়ার লস ক্রমাঙ্কনের চেয়ে বেশি প্রতিফলিত করে। ক্রমাঙ্কন উন্নত না হলেও উন্নত রেজোলিউশন ক্ষতি কমাতে পারে।
একটি ধ্রুব-হার বেসলাইন দেখায় যে মডেলটি একই ইভেন্ট ফ্রিকোয়েন্সি এবং মূল্যায়ন ক্ষেত্রের অধীনে একটি সাধারণ পূর্বাভাসে উন্নতি করে কিনা।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
সিলুয়েট স্কোর এবং ক্লাস্টার মূল্যায়ন
টেকনিক্যাল