মৌলিক নির্দেশিকা
বেঞ্চমার্ক দূষণ
বেঞ্চমার্ক দূষণ ঘটে যখন একটি মূল্যায়ন বেঞ্চমার্ক থেকে প্রশ্ন বা উত্তর একটি মডেলের প্রশিক্ষণ ডেটাতে শেষ হয়, তাই একটি উচ্চ স্কোর প্রকৃত ক্ষমতার পরিবর্তে মুখস্থকে প্রতিফলিত করতে পারে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এই পৃষ্ঠায়4 মিনিট পড়া
ওভারভিউ
এটি গুরুত্বপূর্ণ কারণ লিডারবোর্ড নম্বরগুলি গবেষণার দাবি এবং কেনাকাটার সিদ্ধান্তগুলিকে চালিত করে এবং দূষিত স্কোরগুলি অতিবৃদ্ধি করে যে কোনও মডেল এটি কখনও দেখেনি এমন সমস্যার ক্ষেত্রে কী করবে৷
গভীর ডুব
বড় ভাষার মডেলগুলিকে ওয়েব-স্কেল পাঠ্যের উপর প্রশিক্ষণ দেওয়া হয় যাতে GitHub, arXiv কাগজপত্র, ফোরাম এবং টিউটোরিয়াল সাইটগুলি অন্তর্ভুক্ত থাকে। জনপ্রিয় বেঞ্চমার্কগুলি ডিজাইনের দ্বারা সর্বজনীন, তাই তাদের প্রশ্ন, উত্তর এবং সেগুলির আলোচনাগুলি ওয়েব জুড়ে অনুলিপি করা হয় এবং প্রশিক্ষণের ডেটাতে প্রবাহিত হয়। দূষণ সরাসরি হতে পারে, যেখানে সঠিক পরীক্ষার আইটেমটি প্রদর্শিত হয়, বা পরোক্ষ, প্যারাফ্রেজ, অনুবাদ, সমাধান লিখন, বা বেঞ্চমার্ক দেখেছে এমন অন্য মডেল দ্বারা উত্পন্ন সিন্থেটিক ডেটার মাধ্যমে। এটি ফাইন-টিউনিংয়ের সময়ও প্রবেশ করতে পারে যদি নির্দেশ ডেটাসেটগুলি বেঞ্চমার্কের মতো উত্স থেকে একত্রিত করা হয়। একটি দরকারী পার্থক্য হল শুধুমাত্র প্রশ্ন দেখা এবং এর উত্তর সহ প্রশ্নটি দেখার মধ্যে। দ্বিতীয়টি আরও ক্ষতিকারক, কারণ মডেলটি কাজ করার পরিবর্তে উত্তরটি স্মরণ করতে পারে। ফলাফল হল একটি স্ফীত স্কোর যা নতুন সমস্যায় স্থানান্তরিত হয় না। ল্যাব সচেতনতা নতুন নয়। GPT-3 পেপার (2020) তার বেঞ্চমার্ক এবং প্রশিক্ষণ ডেটার মধ্যে একটি 13-গ্রাম ওভারল্যাপ বিশ্লেষণ চালিয়েছে এবং স্বীকার করেছে যে একটি বাগ কিছু ওভারল্যাপ রেখে গেছে। যখন প্রশিক্ষণের ডেটা পাওয়া যায়, ওভারল্যাপ অনুসন্ধান হল সবচেয়ে সরাসরি চেক। যখন এটি না হয়, গবেষকরা পরোক্ষ পদ্ধতিগুলি ব্যবহার করেন: একটি পরীক্ষার আইটেম শুরু করার সাথে মডেলটিকে প্রম্পট করে দেখতে এটি বাকীটি মৌখিকভাবে সম্পূর্ণ করে কিনা; সদস্যতা অনুমান পদ্ধতি যেমন মিন-কে% প্রোব (শি এবং সহকর্মী, 2023), যা দেখে যে একটি মডেল কতটা আত্মবিশ্বাসের সাথে একটি পাঠ্যের টোকেন ভবিষ্যদ্বাণী করে; পুনঃলিখিত বা নতুন লিখিত সমতুল্যের সাথে মূল আইটেমের স্কোর তুলনা করা; এবং সময়-ভিত্তিক বিভাজন যা প্রশিক্ষণ কাটঅফের আগে এবং পরে সৃষ্ট সমস্যার তুলনা করে। দুটি ভুল ধারণা প্রচলিত। প্রথমত, ওভারল্যাপ সবসময় স্কোর বাড়ায় না; কিছু গবেষণা কিছু কাজের উপর শালীন প্রভাব খুঁজে পায়। দ্বিতীয়ত, কোনো সঠিক ওভারল্যাপ খুঁজে না পাওয়া একটি বেঞ্চমার্ক পরিষ্কার প্রমাণ করে না, কারণ প্যারাফ্রেসড বা অনুবাদকৃত কপি অতীতের স্ট্রিং ম্যাচিং স্লিপ করে। প্রশমনের মধ্যে রয়েছে প্রাইভেট হোল্ড-আউট টেস্ট সেট, ক্যানারি স্ট্রিং, নিয়মিত রিফ্রেশ করা বেঞ্চমার্ক যেমন LiveBench এবং LiveCodeBench, ডিকনটামিনেশন ফিল্টার, এবং ফলাফলের পাশাপাশি দূষণ বিশ্লেষণ প্রকাশ করা।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি গণিত বেঞ্চমার্কের সমস্যাগুলি কার্যকর সমাধান সহ ফোরামে পুনরায় পোস্ট করা হয়; একটি ওয়েব ক্রল সেই পৃষ্ঠাগুলি সংগ্রহ করে, এবং এটিতে প্রশিক্ষিত একটি মডেল পরে সঠিক উত্তরগুলি পুনরুত্পাদন করে, যার মধ্যে মূল শব্দের একটি ব্যঙ্গ রয়েছে৷
স্কেল এআই-এর গবেষকরা GSM1k লিখেছেন, নতুন গ্রেড-স্কুল গণিতের সমস্যাগুলি GSM8K-এর সাথে শৈলী এবং অসুবিধার সাথে মিলেছে, এবং কিছু মডেল নতুন সেটে লক্ষণীয়ভাবে কম স্কোর করেছে, যা পাবলিক বেঞ্চমার্কের সাথে ওভারফিটিং এর লক্ষণ।
একটি কোডিং বেঞ্চমার্ক যা প্রতিটি সমস্যার তারিখ নির্ধারণ করে এমন একটি মডেল দেখায় যা তার প্রশিক্ষণ কাটঅফের পরে প্রকাশিত হওয়ার আগে প্রকাশিত অনেক বেশি সমস্যা সমাধান করে, যেটি প্যাটার্ন LiveCodeBench প্রকাশ করার জন্য ডিজাইন করা হয়েছিল।
বিআইজি-বেঞ্চের কাজগুলিতে একটি অনন্য ক্যানারি স্ট্রিং অন্তর্ভুক্ত থাকে যাতে ডেটা দলগুলি প্রশিক্ষণ কর্পোরার বাইরে থাকা যে কোনও নথি ফিল্টার করতে পারে এবং পরে একটি মডেল এটি পুনরুত্পাদন করতে পারে কিনা তা পরীক্ষা করতে পারে।
বেঞ্চমার্ক দূষণের ভবিষ্যত
মূল্যায়ন অনুশীলন ব্যক্তিগত বা আংশিকভাবে ব্যক্তিগত পরীক্ষার সেটের দিকে স্থানান্তরিত হচ্ছে, সময়ের সাথে নতুন আইটেম যুক্ত করা বেঞ্চমার্ক এবং পরীক্ষার ডেটা নিয়ন্ত্রণকারী তৃতীয় পক্ষের মূল্যায়নকারীদের দিকে। এটি উন্মুক্ততার সাথে একটি বাস্তব উত্তেজনা তৈরি করে, যেহেতু পাবলিক বেঞ্চমার্কগুলি পুনরুত্পাদন এবং পরিদর্শন করা সহজ। প্রশিক্ষণের ডেটা সম্পর্কে বৃহত্তর স্বচ্ছতা দূষণ পরীক্ষাকে আরও সহজ করে তুলবে, তবে অনেক মডেল বিকাশকারী সম্পূর্ণ ডেটা বিশদ প্রকাশ করেন না। পাঠকদের সতর্কতার সাথে যেকোন একক স্ট্যাটিক বেঞ্চমার্ক স্কোর ব্যবহার করা উচিত এবং শক্তিশালী সিদ্ধান্তে আসার আগে তাজা বা আটকে থাকা ডেটার ফলাফলগুলি সন্ধান করা উচিত।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- সুস্পষ্ট সিদ্ধান্ত. এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
- খরচ ও বাজেট. অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
- টিম এবং ওয়ার্কফ্লো. ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
জন্য সতর্ক
- বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
- বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
- ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
পরবর্তী পদক্ষেপ
- আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
- পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
- একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
- নথি যেখানে বেঞ্চমার্ক দূষণ সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Benchmark Contamination quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
বেঞ্চমার্ক দূষণ কি?
বেঞ্চমার্ক দূষণ ঘটে যখন একটি মূল্যায়ন বেঞ্চমার্ক থেকে প্রশ্ন বা উত্তর একটি মডেলের প্রশিক্ষণ ডেটাতে শেষ হয়, তাই একটি উচ্চ স্কোর প্রকৃত ক্ষমতার পরিবর্তে মুখস্থকে প্রতিফলিত করতে পারে। এটি গুরুত্বপূর্ণ কারণ লিডারবোর্ড নম্বরগুলি গবেষণার দাবি এবং কেনাকাটার সিদ্ধান্তগুলিকে চালিত করে এবং দূষিত স্কোরগুলি অতিবৃদ্ধি করে যে কোনও মডেল এটি কখনও দেখেনি এমন সমস্যার ক্ষেত্রে কী করবে৷
বেঞ্চমার্ক দূষণ কি?
দূষণের অর্থ হল প্রশিক্ষণের সময় মডেলটি পরীক্ষার উপাদান দেখে থাকতে পারে, তাই এর স্কোর মুখস্থকে প্রতিফলিত করতে পারে।
বিআইজি-বেঞ্চের কাজগুলিতে অন্তর্ভুক্ত ক্যানারি স্ট্রিংয়ের উদ্দেশ্য কী?
একটি অনন্য শনাক্তকারী কর্পোরা থেকে বেঞ্চমার্ক টেক্সট খুঁজে পাওয়া এবং সরানো এবং একটি মডেল এটি মুখস্থ করেছে কিনা তা পরীক্ষা করা সহজ করে তোলে।
GSM1k অধ্যয়নের পরামর্শ কী ছিল?
স্টাইল এবং অসুবিধার সাথে মিলে যাওয়া নতুন সমস্যাগুলির একটি ড্রপ সাধারণ গণিত দক্ষতার পরিবর্তে পাবলিক বেঞ্চমার্কে ওভারফিট করার দিকে নির্দেশ করে।
GPT-3 কাগজটি কী ওভারল্যাপ বিশ্লেষণ করেছে?
GPT-3 এর লেখকরা 13-গ্রাম ওভারল্যাপ পরীক্ষা করেছেন এবং একটি বাগ স্বীকার করেছেন যা কিছু ওভারল্যাপ অপসারণ করেছে।
Min-K% Prob-এর মূল ধারণা কী?
পদ্ধতিটি টোকেন লগ-সম্ভাবনার সর্বনিম্ন k শতাংশ গড় করে; মুখস্থ পাঠ্যের স্কোর অস্বাভাবিকভাবে বেশি কারণ এতে সামান্যই মডেলকে অবাক করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড