পরবর্তী আপপরবর্তী গাইড
Inter-Annotator Agreement and Cohen's Kappa
টেকনিক্যাল
প্রযুক্তিগত গাইড
কোহেনের কাপ্পা তাদের লেবেল ফ্রিকোয়েন্সি থেকে প্রত্যাশিত চুক্তির হিসাব করার পর শ্রেণীবদ্ধ লেবেলের দুটি সেটের মধ্যে চুক্তি পরিমাপ করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি টিমগুলিকে টীকাটির ধারাবাহিকতা মূল্যায়ন করতে সহায়তা করে, তবে উচ্চ স্কোর এটি প্রতিষ্ঠিত করে না যে টীকাকারটিই প্রকৃতপক্ষে সঠিক।
ধরুন দুই টীকাকার অধিকাংশ উদাহরণের সাথে একমত। এটি আশ্বাসজনক শোনাচ্ছে, তবে বিভাগ ফ্রিকোয়েন্সিগুলি গুরুত্বপূর্ণ। যদি উভয়ই প্রায় সবসময় একই সাধারণ শ্রেণী বেছে নেয়, তবে ক্ষেত্রে পার্থক্য করার ক্ষমতা ছাড়াই ঘন ঘন চুক্তি হতে পারে। কোহেনের কাপ্পা প্রতিটি টীকাকারের লেবেল অনুপাতের উপর ভিত্তি করে একটি প্রত্যাশিত-চুক্তি গণনার সাথে পর্যবেক্ষণ করা চুক্তির তুলনা করে। সূত্রটি পর্যবেক্ষণকৃত চুক্তি থেকে প্রত্যাশিত চুক্তিকে বিয়োগ করে, তারপর একটি বিয়োগ প্রত্যাশিত চুক্তি দ্বারা ভাগ করে। যদি পর্যবেক্ষণ করা চুক্তি 0.8 হয় এবং প্রত্যাশিত চুক্তি 0.5 হয়, তাহলে কাপ্পা 0.6 হয়। এই মানগুলি একটি দৃষ্টান্তমূলক গণনা গঠন করে। একজনের একটি কাপ্পা নিখুঁত চুক্তির প্রতিনিধিত্ব করে যখন হর সংজ্ঞায়িত করা হয়; শূন্য মানে চুক্তি ফ্রিকোয়েন্সি-ভিত্তিক প্রত্যাশার সাথে মেলে। নেতিবাচক মান সেই প্রত্যাশার চেয়ে কম চুক্তি নির্দেশ করে। প্রত্যাশিত শব্দটি প্রমাণ করে না যে উভয় ব্যক্তি এলোমেলোভাবে অনুমান করেছে৷ এটি প্রান্তিক লেবেল ফ্রিকোয়েন্সি থেকে নির্মিত একটি গাণিতিক রেফারেন্স। উদাহরণস্বরূপ, যদি একজন টীকাকার 60% সময়ের একটি বিভাগ ব্যবহার করে এবং অন্যটি 50% সময় ব্যবহার করে, সেই বিভাগটি প্রত্যাশিত চুক্তিতে 0.3 অবদান রাখে। প্রতিটি বিভাগের জন্য অবদান যোগ করুন. একই ক্ষেত্রে স্বাধীনভাবে বরাদ্দকৃত লেবেল ব্যবহার করুন। যদি দ্বিতীয় টীকাকার প্রথমটি অনুলিপি করে, তাদের চুক্তি স্বাধীন নির্ভরযোগ্যতা সম্পর্কে খুব কমই বলে। নির্দেশাবলী পরিবর্তন করার আগে মতবিরোধের নিদর্শনগুলি পরীক্ষা করুন, তারপর একটি নতুন নমুনা যেখানে ব্যবহারিক সেখানে সংশোধিত নির্দেশাবলী মূল্যায়ন করুন। Kappa বিভাগের প্রচলন এবং লেবেলগুলির টীকাকারদের ব্যবহারের উপরও নির্ভর করে। এমন কোন সার্বজনীনভাবে উপযুক্ত কাটঅফ নেই যা একটি ডেটাসেটকে বিশ্বস্ত করে তোলে। স্কোরের পাশাপাশি নমুনার আকার, কাঁচা চুক্তি এবং চুক্তির সারণী রিপোর্ট করুন। স্কিট-লার্ন ওজনহীন এবং ওজনহীন গণনা অফার করে। ওয়েটেড কাপ্পা উপযুক্ত যখন ক্যাটাগরি অর্ডার এবং বিভিন্ন আকারের মতবিরোধের ফলাফল স্পষ্টভাবে সংজ্ঞায়িত করা হয়েছে।
দু'জন ব্যক্তি স্বাধীনভাবে একই সমর্থন টিকিটকে বিলিং বা প্রযুক্তিগত হিসাবে লেবেল করে। একটি কাপ্পা রিপোর্ট তাদের চুক্তি পরিমাপ করে এবং একটি দ্বিমত পর্যালোচনা প্রকাশ করে যেখানে লেবেল নির্দেশাবলীর স্পষ্টীকরণ প্রয়োজন।
একটি কাল্পনিক নমুনায়, পর্যবেক্ষণ চুক্তি 80% এবং প্রত্যাশিত চুক্তি 50%। কাপ্পা হল (0.8 বিয়োগ 0.5) (1 বিয়োগ 0.5), বা 0.6 দ্বারা ভাগ।
পর্যালোচনাকারীরা ঘটনার জন্য নিম্ন, মাঝারি বা উচ্চ তীব্রতা নির্ধারণ করে। একটি ওজনযুক্ত কাপ্পা সর্বনিম্ন এবং সর্বোচ্চ স্তরের মধ্যে একটি মতবিরোধ থেকে এক-স্তরের মতপার্থক্যকে আলাদা করতে পারে।
একজন বিশ্লেষক scikit-learn-এর cohen_kappa_score দুটি সারিবদ্ধ লেবেল অ্যারের জন্য ব্যবহার করেন, তারপর শ্রেণী গণনা এবং চুক্তি সারণী প্রতিবেদন করেন যাতে পাঠকরা সারসংক্ষেপটি ব্যাখ্যা করতে পারে।
এআই-সহায়তা টীকা প্রতিটি লেবেল কিভাবে উত্পাদিত হয়েছে তা রেকর্ড করা আরও গুরুত্বপূর্ণ করে তোলে। দুজন পর্যালোচক যারা একই মডেলের পরামর্শ দেখেছেন তারা একটি ত্রুটি শেয়ার করতে পারেন, এমনকি তাদের চুক্তির উচ্চতা থাকলেও। দলগুলি স্বাধীনভাবে লেবেলযুক্ত একটি নমুনা সংরক্ষণ করে, নির্দেশের পরিবর্তনের রেকর্ড রেখে এবং ডোমেন বিশেষজ্ঞদের সাথে পুনরাবৃত্তিমূলক মতবিরোধ নিয়ে আলোচনা করে তাদের প্রক্রিয়াকে শক্তিশালী করতে পারে। ভাল-সমর্থিত রেফারেন্স উত্তরগুলির বিরুদ্ধে চেকগুলির পাশাপাশি Kappa সেই পর্যালোচনার একটি অংশ থাকতে পারে। লক্ষ্য হল একটি ডেটাসেট যার লেবেলগুলির একটি স্পষ্ট অর্থ এবং একটি প্রতিরক্ষাযোগ্য পর্যালোচনা প্রক্রিয়া রয়েছে, একটি একক চিত্তাকর্ষক চুক্তি নম্বরের পরিবর্তে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
কোহেনের কাপ্পা তাদের লেবেল ফ্রিকোয়েন্সি থেকে প্রত্যাশিত চুক্তির হিসাব করার পর শ্রেণীবদ্ধ লেবেলের দুটি সেটের মধ্যে চুক্তি পরিমাপ করে। এটি টিমগুলিকে টীকাটির ধারাবাহিকতা মূল্যায়ন করতে সহায়তা করে, তবে উচ্চ স্কোর এটি প্রতিষ্ঠিত করে না যে টীকাকারটিই প্রকৃতপক্ষে সঠিক।
কাপ্পা হল (0.8 বিয়োগ 0.5) দ্বারা ভাগ করা (1 বিয়োগ 0.5), যা 0.6 এর সমান।
প্রত্যাশিত শব্দটি প্রান্তিক ফ্রিকোয়েন্সি থেকে নির্মিত একটি গাণিতিক বেসলাইন; এটি টীকাকারদের প্রকৃত চিন্তা প্রক্রিয়া বর্ণনা করে না।
ওজনগুলি অর্ডার করা বিভাগগুলির মধ্যে দূরত্ব প্রতিফলিত করতে স্কোরকে অনুমতি দেয়, যদি অর্ডার এবং ওজন উপযুক্ত হয়।
হর হল এক বিয়োগ প্রত্যাশিত চুক্তি৷ যখন প্রত্যাশিত চুক্তি এক হয়, তখন সাধারণ সূত্রটি অনির্ধারিত থাকে।
অনুলিপি করা সিদ্ধান্তগুলি একটি স্বাধীন মূল্যায়ন প্রদান করে না, এমনকি যদি তাদের সংখ্যাগত চুক্তি নিখুঁত হয়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
Inter-Annotator Agreement and Cohen's Kappa
টেকনিক্যাল