পরবর্তী আপপরবর্তী গাইড
পুনরুদ্ধারের জন্য ফাইন-টিউনিং এমবেডিং মডেল
টেকনিক্যাল
প্রযুক্তিগত গাইড
ডেটাসেটের জন্য মডেল কার্ড এবং ডেটাশিট
একটি মডেল কার্ড হল একটি সংক্ষিপ্ত, কাঠামোবদ্ধ নথি যা ব্যাখ্যা করে যে একটি AI মডেল কীসের জন্য, এটি কীভাবে মূল্যায়ন করা হয়েছিল, এটি বিভিন্ন গোষ্ঠী এবং অবস্থার জন্য কতটা ভাল কাজ করে এবং কোথায় এটি ব্যবহার করা উচিত নয়।
এই পৃষ্ঠায়3 মিনিট পড়া হয়েছে
ওভারভিউ
ডেটাসেটের জন্য একটি ডেটাশিট প্রশিক্ষণ ডেটার জন্য একই কাজ করে: কেন ডেটা সংগ্রহ করা হয়েছিল, এতে কী রয়েছে, কীভাবে এটি সংগ্রহ করা হয়েছিল এবং লেবেল করা হয়েছিল এবং কীভাবে এটি বজায় রাখা উচিত। এই নথিগুলি গুরুত্বপূর্ণ কারণ তারা ক্রেতা, ব্যবহারকারী, নিরীক্ষক এবং নিয়ন্ত্রকদের বিচার করতে দেয় যে কোনও সিস্টেম উদ্দেশ্যের জন্য উপযুক্ত কিনা এবং EU AI আইনের মতো আইনে এখন অনুরূপ ডকুমেন্টেশন প্রয়োজন।
গভীর ডুব
2019 সালে ACM FAT* সম্মেলনে উপস্থাপিত "মডেল রিপোর্টিংয়ের জন্য মডেল কার্ড" কাগজে মডেল কার্ডগুলি প্রস্তাবিত হয়েছিল। প্রস্তাবিত বিভাগগুলি হল মডেলের বিশদ বিবরণ, উদ্দেশ্যমূলক ব্যবহার, কারণগুলি (যেমন জনসংখ্যা বা পরিবেশগত অবস্থা), মেট্রিক্স, মূল্যায়ন ডেটা, প্রশিক্ষণের ডেটা এবং পরিমাপমূলক তথ্য, পরিসংখ্যানগত তথ্য এবং পরিমাপক বিবেচনা। সুপারিশ মূল ধারণাটি হল বিচ্ছিন্ন মূল্যায়ন: একটি গড় স্কোর না করে প্রাসঙ্গিক উপগোষ্ঠীর জন্য পারফরম্যান্সকে আলাদাভাবে রিপোর্ট করা যা ব্যর্থতাকে আড়াল করতে পারে। ডাটাসেটের জন্য ডেটাশিট, টিমনিট গেব্রু এবং সহকর্মীদের দ্বারা, প্রথম 2018 সালে প্রচারিত হয়েছিল এবং পরে ACM এর কমিউনিকেশনে প্রকাশিত হয়েছিল। এটি ইলেকট্রনিক্স ডেটাশিট থেকে ধার করে। ডেটাসেট নির্মাতারা প্রেরণা, রচনা, সংগ্রহ প্রক্রিয়া, প্রিপ্রসেসিং এবং লেবেলিং, ব্যবহার, বিতরণ এবং রক্ষণাবেক্ষণ সম্পর্কে প্রশ্নের উত্তর দেয়। সম্পর্কিত বিন্যাসে ভাষা ডেটাসেট এবং ডেটা কার্ডের জন্য ডেটা বিবৃতি অন্তর্ভুক্ত। সিস্টেম কার্ড, 2022 সাল থেকে Meta এবং OpenAI দ্বারা ব্যবহৃত এবং 2023 সালে GPT-4 এর জন্য উল্লেখযোগ্যভাবে, শুধুমাত্র মডেলের পরিবর্তে নিরাপত্তা পরীক্ষা এবং প্রশমন সহ একটি সম্পূর্ণ স্থাপন করা সিস্টেম নথিভুক্ত করে। প্রবিধান এই অনুশীলনের অনেকটাই প্রয়োজনে পরিণত করেছে। EU AI আইনের জন্য উচ্চ-ঝুঁকিপূর্ণ AI সিস্টেমের জন্য প্রযুক্তিগত ডকুমেন্টেশন প্রয়োজন, যা অ্যানেক্স IV এ সেট করা হয়েছে। সাধারণ-উদ্দেশ্য AI মডেলের প্রদানকারীদের অবশ্যই প্রযুক্তিগত ডকুমেন্টেশন রাখতে হবে, ডাউনস্ট্রিম প্রদানকারীদের তথ্য দিতে হবে এবং কমিশন টেমপ্লেট ব্যবহার করে প্রশিক্ষণের বিষয়বস্তুর একটি সারসংক্ষেপ প্রকাশ করতে হবে। একটি সাধারণ ভুল ধারণা হল যে একটি মডেল কার্ড প্রমাণ করে যে একটি মডেল নিরাপদ। এটি একটি প্রকাশ, একটি সার্টিফিকেশন নয়, এবং একটি কার্ড অসম্পূর্ণ, পুরানো বা বিপণনের মতো লিখিত হতে পারে। এর মান সৎ সীমাবদ্ধতা এবং মূল্যায়নের উপর নির্ভর করে যা অন্য কেউ পুনরুত্পাদন করতে পারে।
কৌশলগত প্রভাব
খরচ ও বাজেট
আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
সুস্পষ্ট সিদ্ধান্ত
কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
মান নিয়ন্ত্রণ
ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
ডেটাসেটের জন্য মডেল কার্ড এবং ডেটাশিটের ভবিষ্যত
Documentation is moving from voluntary best practice toward a compliance requirement. The EU AI Act, procurement rules and standards such as ISO/IEC 42001 all expect structured records of how a system was built and tested. Machine-readable formats and automated generation will likely become more common, so that cards can be checked and compared. The ongoing challenges are keeping documents accurate as models are updated, disclosing enough about training data without exposing trade secrets or personal information, and making sure readers actually use the documents when deciding.
বাস্তব-বিশ্ব বাস্তবায়ন
A hospital evaluating a skin-lesion classifier reads its model card and finds accuracy was reported separately by skin tone. It then decides to run its own local validation before use.
A Hugging Face model repository shows a model card with YAML metadata listing its license, training datasets, languages and benchmark results, and people can filter search results by those fields.
A research team publishes a speech dataset with a datasheet that records speakers' consent, recording conditions and the accents that are under-represented.
An AI lab releases a system card for a chatbot describing red-teaming results, safety mitigations and the risks that remain, beyond what a basic model card covers.
ঝুঁকি এবং প্রহরী
একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
বাস্তবায়ন রোডম্যাপ
বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Cards and Datasheets for Datasets quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Model Cards and Datasheets for Datasets?
একটি মডেল কার্ড হল একটি সংক্ষিপ্ত, কাঠামোবদ্ধ নথি যা ব্যাখ্যা করে যে একটি AI মডেল কীসের জন্য, এটি কীভাবে মূল্যায়ন করা হয়েছিল, এটি বিভিন্ন গোষ্ঠী এবং অবস্থার জন্য কতটা ভাল কাজ করে এবং কোথায় এটি ব্যবহার করা উচিত নয়। ডেটাসেটের জন্য একটি ডেটাশিট প্রশিক্ষণ ডেটার জন্য একই কাজ করে: কেন ডেটা সংগ্রহ করা হয়েছিল, এতে কী রয়েছে, কীভাবে এটি সংগ্রহ করা হয়েছিল এবং লেবেল করা হয়েছিল এবং কীভাবে এটি বজায় রাখা উচিত। এই নথিগুলি গুরুত্বপূর্ণ কারণ তারা ক্রেতা, ব্যবহারকারী, নিরীক্ষক এবং নিয়ন্ত্রকদের বিচার করতে দেয় যে কোনও সিস্টেম উদ্দেশ্যের জন্য উপযুক্ত কিনা এবং EU AI আইনের মতো আইনে এখন অনুরূপ ডকুমেন্টেশন প্রয়োজন।
What is the main purpose of a model card?
A model card gives readers what they need to judge whether a model fits a particular use, including where it performs poorly.
Who led the paper that proposed model cards?
Margaret Mitchell and colleagues presented "Model Cards for Model Reporting" at ACM FAT* in 2019.
What is disaggregated evaluation?
Splitting results by subgroup exposes failures that an overall average would hide.
Datasheets for Datasets borrows its idea from which field?
Electronic components come with datasheets that describe their characteristics. Gebru and colleagues applied that idea to datasets.
How does a system card differ from a basic model card?
System cards, such as OpenAI's for GPT-4, describe a deployed product's risks, red-teaming and safeguards.
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড