পরবর্তী আপপরবর্তী গাইড
পুনরুদ্ধারের জন্য ফাইন-টিউনিং এমবেডিং মডেল
টেকনিক্যাল
প্রযুক্তিগত গাইড
একটি মডেল কার্ড হল একটি সংক্ষিপ্ত, কাঠামোবদ্ধ নথি যা ব্যাখ্যা করে যে একটি AI মডেল কীসের জন্য, এটি কীভাবে মূল্যায়ন করা হয়েছিল, এটি বিভিন্ন গোষ্ঠী এবং অবস্থার জন্য কতটা ভাল কাজ করে এবং কোথায় এটি ব্যবহার করা উচিত নয়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
ডেটাসেটের জন্য একটি ডেটাশিট প্রশিক্ষণ ডেটার জন্য একই কাজ করে: কেন ডেটা সংগ্রহ করা হয়েছিল, এতে কী রয়েছে, কীভাবে এটি সংগ্রহ করা হয়েছিল এবং লেবেল করা হয়েছিল এবং কীভাবে এটি বজায় রাখা উচিত। এই নথিগুলি গুরুত্বপূর্ণ কারণ তারা ক্রেতা, ব্যবহারকারী, নিরীক্ষক এবং নিয়ন্ত্রকদের বিচার করতে দেয় যে কোনও সিস্টেম উদ্দেশ্যের জন্য উপযুক্ত কিনা এবং EU AI আইনের মতো আইনে এখন অনুরূপ ডকুমেন্টেশন প্রয়োজন।
2019 সালে ACM FAT* সম্মেলনে উপস্থাপিত "মডেল রিপোর্টিংয়ের জন্য মডেল কার্ড" কাগজে মডেল কার্ডগুলি প্রস্তাবিত হয়েছিল। প্রস্তাবিত বিভাগগুলি হল মডেলের বিশদ বিবরণ, উদ্দেশ্যমূলক ব্যবহার, কারণগুলি (যেমন জনসংখ্যা বা পরিবেশগত অবস্থা), মেট্রিক্স, মূল্যায়ন ডেটা, প্রশিক্ষণের ডেটা এবং পরিমাপমূলক তথ্য, পরিসংখ্যানগত তথ্য এবং পরিমাপক বিবেচনা। সুপারিশ মূল ধারণাটি হল বিচ্ছিন্ন মূল্যায়ন: একটি গড় স্কোর না করে প্রাসঙ্গিক উপগোষ্ঠীর জন্য পারফরম্যান্সকে আলাদাভাবে রিপোর্ট করা যা ব্যর্থতাকে আড়াল করতে পারে। ডাটাসেটের জন্য ডেটাশিট, টিমনিট গেব্রু এবং সহকর্মীদের দ্বারা, প্রথম 2018 সালে প্রচারিত হয়েছিল এবং পরে ACM এর কমিউনিকেশনে প্রকাশিত হয়েছিল। এটি ইলেকট্রনিক্স ডেটাশিট থেকে ধার করে। ডেটাসেট নির্মাতারা প্রেরণা, রচনা, সংগ্রহ প্রক্রিয়া, প্রিপ্রসেসিং এবং লেবেলিং, ব্যবহার, বিতরণ এবং রক্ষণাবেক্ষণ সম্পর্কে প্রশ্নের উত্তর দেয়। সম্পর্কিত বিন্যাসে ভাষা ডেটাসেট এবং ডেটা কার্ডের জন্য ডেটা বিবৃতি অন্তর্ভুক্ত। সিস্টেম কার্ড, 2022 সাল থেকে Meta এবং OpenAI দ্বারা ব্যবহৃত এবং 2023 সালে GPT-4 এর জন্য উল্লেখযোগ্যভাবে, শুধুমাত্র মডেলের পরিবর্তে নিরাপত্তা পরীক্ষা এবং প্রশমন সহ একটি সম্পূর্ণ স্থাপন করা সিস্টেম নথিভুক্ত করে। প্রবিধান এই অনুশীলনের অনেকটাই প্রয়োজনে পরিণত করেছে। EU AI আইনের জন্য উচ্চ-ঝুঁকিপূর্ণ AI সিস্টেমের জন্য প্রযুক্তিগত ডকুমেন্টেশন প্রয়োজন, যা অ্যানেক্স IV এ সেট করা হয়েছে। সাধারণ-উদ্দেশ্য AI মডেলের প্রদানকারীদের অবশ্যই প্রযুক্তিগত ডকুমেন্টেশন রাখতে হবে, ডাউনস্ট্রিম প্রদানকারীদের তথ্য দিতে হবে এবং কমিশন টেমপ্লেট ব্যবহার করে প্রশিক্ষণের বিষয়বস্তুর একটি সারসংক্ষেপ প্রকাশ করতে হবে। একটি সাধারণ ভুল ধারণা হল যে একটি মডেল কার্ড প্রমাণ করে যে একটি মডেল নিরাপদ। এটি একটি প্রকাশ, একটি সার্টিফিকেশন নয়, এবং একটি কার্ড অসম্পূর্ণ, পুরানো বা বিপণনের মতো লিখিত হতে পারে। এর মান সৎ সীমাবদ্ধতা এবং মূল্যায়নের উপর নির্ভর করে যা অন্য কেউ পুনরুত্পাদন করতে পারে।
A hospital evaluating a skin-lesion classifier reads its model card and finds accuracy was reported separately by skin tone. It then decides to run its own local validation before use.
A Hugging Face model repository shows a model card with YAML metadata listing its license, training datasets, languages and benchmark results, and people can filter search results by those fields.
A research team publishes a speech dataset with a datasheet that records speakers' consent, recording conditions and the accents that are under-represented.
An AI lab releases a system card for a chatbot describing red-teaming results, safety mitigations and the risks that remain, beyond what a basic model card covers.
Documentation is moving from voluntary best practice toward a compliance requirement. The EU AI Act, procurement rules and standards such as ISO/IEC 42001 all expect structured records of how a system was built and tested. Machine-readable formats and automated generation will likely become more common, so that cards can be checked and compared. The ongoing challenges are keeping documents accurate as models are updated, disclosing enough about training data without exposing trade secrets or personal information, and making sure readers actually use the documents when deciding.
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
একটি মডেল কার্ড হল একটি সংক্ষিপ্ত, কাঠামোবদ্ধ নথি যা ব্যাখ্যা করে যে একটি AI মডেল কীসের জন্য, এটি কীভাবে মূল্যায়ন করা হয়েছিল, এটি বিভিন্ন গোষ্ঠী এবং অবস্থার জন্য কতটা ভাল কাজ করে এবং কোথায় এটি ব্যবহার করা উচিত নয়। ডেটাসেটের জন্য একটি ডেটাশিট প্রশিক্ষণ ডেটার জন্য একই কাজ করে: কেন ডেটা সংগ্রহ করা হয়েছিল, এতে কী রয়েছে, কীভাবে এটি সংগ্রহ করা হয়েছিল এবং লেবেল করা হয়েছিল এবং কীভাবে এটি বজায় রাখা উচিত। এই নথিগুলি গুরুত্বপূর্ণ কারণ তারা ক্রেতা, ব্যবহারকারী, নিরীক্ষক এবং নিয়ন্ত্রকদের বিচার করতে দেয় যে কোনও সিস্টেম উদ্দেশ্যের জন্য উপযুক্ত কিনা এবং EU AI আইনের মতো আইনে এখন অনুরূপ ডকুমেন্টেশন প্রয়োজন।
একটি মডেল কার্ড পাঠকদের দেয় যে কোন মডেলটি কোন নির্দিষ্ট ব্যবহারে মানানসই কিনা, যেখানে এটি খারাপভাবে কাজ করে তা সহ বিচার করার জন্য তাদের কী প্রয়োজন।
মার্গারেট মিচেল এবং সহকর্মীরা 2019 সালে ACM FAT*-এ "মডেল রিপোর্টিংয়ের জন্য মডেল কার্ড" উপস্থাপন করেছেন।
সাবগ্রুপ দ্বারা ফলাফল বিভক্ত করা ব্যর্থতা প্রকাশ করে যা সামগ্রিক গড় লুকিয়ে রাখবে।
বৈদ্যুতিন উপাদানগুলি ডেটাশিটের সাথে আসে যা তাদের বৈশিষ্ট্যগুলি বর্ণনা করে। গেব্রু এবং সহকর্মীরা সেই ধারণাটি ডেটাসেটে প্রয়োগ করেছিলেন।
সিস্টেম কার্ড, যেমন GPT-4-এর জন্য OpenAI, একটি স্থাপন করা পণ্যের ঝুঁকি, রেড-টিমিং এবং সুরক্ষাগুলি বর্ণনা করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
পুনরুদ্ধারের জন্য ফাইন-টিউনিং এমবেডিং মডেল
টেকনিক্যাল