পরবর্তী আপপরবর্তী গাইড
অনলাইন এবং হার্ড নেগেটিভ মাইনিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
নেতিবাচক স্যাম্পলিং এবং নয়েজ কনট্রাস্টিভ অনুমান
নেগেটিভ স্যাম্পলিং এবং নয়েজ কনট্রাস্টিভ এস্টিমেশন (NCE) হল এমন কৌশল যা মডেলগুলিকে একটি ব্যয়বহুল সম্পূর্ণ সফ্টম্যাক্স গণনা না করেই বিশাল শব্দভান্ডার শিখতে দেয়৷
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
প্রতিটি সম্ভাব্য আউটপুট স্কোর করার পরিবর্তে, তারা মডেলটিকে মুষ্টিমেয় নকল (নেতিবাচক) থেকে বাস্তব (ইতিবাচক) উদাহরণ বলতে শেখায়।
গভীর ডুব
যখন একটি শব্দভাণ্ডারে কয়েক হাজার শব্দ থাকে, তখন প্রতিটি প্রশিক্ষণের ধাপের জন্য একটি সাধারণ সফটম্যাক্স অবশ্যই প্রতিটি শব্দের উপর স্বাভাবিক করতে হবে — খুব ধীর। নয়েজ কনট্রাস্টিভ এস্টিমেশন সমস্যাটিকে বাইনারি শ্রেণীবিভাগ হিসাবে রিফ্রেম করে: একটি টার্গেট এবং একটি পরিচিত বিতরণ থেকে আঁকা কয়েকটি 'গোলমাল' নমুনা দেওয়া হলে, শব্দ থেকে সত্যিকারের নমুনাকে আলাদা করতে শিখুন, যা স্পষ্টভাবে স্বাভাবিককরণ ছাড়াই কাঙ্খিত সম্ভাবনাগুলি পুনরুদ্ধার করে। নেতিবাচক স্যাম্পলিং, word2vec-এর স্কিপ-গ্রাম মডেল দ্বারা জনপ্রিয়, একটি সরলীকৃত কাজিন: প্রতিটি সত্য (শব্দ, প্রসঙ্গ) জোড়ার জন্য এটি k নেতিবাচক নমুনা দেয় এবং একটি সিগমায়েড উদ্দেশ্য ব্যবহার করে, আসল জুটিকে উচ্চ স্কোর এবং নকলকে কম স্কোর দেওয়ার জন্য মডেলটিকে প্রশিক্ষণ দেয়৷ উভয়ই একটি ব্যয়বহুল বহু-শ্রেণীর সমস্যাকে অনেক সস্তা বাইনারি সমস্যায় পরিণত করে, যা বৃহৎ-স্কেল এম্বেডিং প্রশিক্ষণকে ব্যবহারিক করে তোলে। নয়েজ ডিস্ট্রিবিউশনের পছন্দ (প্রায়শই ইউনিগ্রাম 3/4 পাওয়ারে উত্থাপিত) গুণমানকে দৃঢ়ভাবে প্রভাবিত করে।
বাস্তব-বিশ্ব বাস্তবায়ন
word2vec স্কিপ-গ্রাম সম্পূর্ণ সফটম্যাক্স ছাড়াই কোটি কোটি টোকেন থেকে নেতিবাচক স্যাম্পলিং শেখার শব্দ এমবেডিং।
ভাষার মডেলগুলি ঐতিহাসিকভাবে NCE ব্যবহার করে শত সহস্র শব্দের শব্দভাণ্ডারকে দক্ষতার সাথে প্রশিক্ষণ দেয়।
সুপারিশ এবং পুনরুদ্ধার সিস্টেম 'নেতিবাচক' আইটেম নমুনা একটি ব্যবহারকারী টু-টাওয়ার এমবেডিং মডেল প্রশিক্ষণের সাথে যোগাযোগ করেনি।
সত্তা সম্পর্ক শিখতে নেতিবাচক নমুনা ব্যবহার করে গ্রাফ এবং নলেজ-গ্রাফ এম্বেডিং (যেমন, একটি ট্রিপলের মাথা বা লেজ দূষিত করা)।
নেতিবাচক নমুনা এবং গোলমাল বিপরীত অনুমান ভবিষ্যত
মূল ধারণা — নমুনাযুক্ত নেতিবাচকগুলির বিপরীতে ইতিবাচকের বিপরীতে শিখুন — এখন দৃষ্টি, ভাষা এবং সুপারিশ জুড়ে আধুনিক স্ব-তত্ত্বাবধানে এবং বিপরীত উপস্থাপনা শেখার ভিত্তি করে। ভবিষ্যত কাজ হার্ড-নেগেটিভ মাইনিং (এলোমেলোগুলির পরিবর্তে তথ্যপূর্ণ নেতিবাচক নির্বাচন করা), মিথ্যা নেতিবাচকদের জন্য ডিবিয়াসিং, এবং বড় মেমরি ব্যাঙ্ক বা ইন-ব্যাচ স্যাম্পলিং এর মাধ্যমে সস্তায় নেতিবাচক স্কেল করার উপর দৃষ্টি নিবদ্ধ করে। মডেলগুলি বাড়ার সাথে সাথে, যেখানেই আউটপুট স্পেস বা প্রার্থীর সেটগুলি প্রচুর, যেমন পুনরুদ্ধার এবং বৃহৎ-স্কেল সুপারিশকারীরা সেখানে দক্ষ নমুনাযুক্ত উদ্দেশ্যগুলি অপরিহার্য থাকে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Negative Sampling and Noise Contrastive Estimation quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
নেগেটিভ স্যাম্পলিং এবং নয়েজ কনট্রাস্টিভ অনুমান কি?
নেগেটিভ স্যাম্পলিং এবং নয়েজ কনট্রাস্টিভ এস্টিমেশন (NCE) হল এমন কৌশল যা মডেলগুলিকে একটি ব্যয়বহুল সম্পূর্ণ সফ্টম্যাক্স গণনা না করেই বিশাল শব্দভান্ডার শিখতে দেয়৷ প্রতিটি সম্ভাব্য আউটপুট স্কোর করার পরিবর্তে, তারা মডেলটিকে মুষ্টিমেয় নকল (নেতিবাচক) থেকে বাস্তব (ইতিবাচক) উদাহরণ বলতে শেখায়।
নেতিবাচক নমুনা এবং NCE প্রাথমিকভাবে কোন সমস্যা সমাধান করে?
উভয় পদ্ধতিই সস্তা বাইনারি বৈষম্য হিসাবে প্রশিক্ষণকে পুনর্বিন্যাস করে বিশাল শব্দভাণ্ডারকে স্বাভাবিক করা এড়ায়।
কিভাবে নয়েজ কনট্রাস্টিভ এস্টিমেশন শেখার টাস্ক রিফ্রেম করে?
NCE মডেলটিকে একটি পরিচিত শব্দ বিতরণ থেকে আঁকা নমুনা থেকে আসল নমুনাগুলিকে আলাদা করতে প্রশিক্ষণ দেয়।
শব্দ এমবেডিং শেখার জন্য কোন মডেল নেতিবাচক নমুনাকে জনপ্রিয় করেছে?
word2vec-এর স্কিপ-গ্রাম বৈকল্পিক দ্বারা নেতিবাচক নমুনা প্রবর্তন এবং জনপ্রিয় করা হয়েছিল।
কিভাবে নেতিবাচক নমুনা সম্পূর্ণ NCE থেকে আলাদা?
নেতিবাচক স্যাম্পলিং স্বাভাবিককরণ, গতির জন্য সম্ভাব্য শুদ্ধতা এবং ভাল এম্বেডিংগুলিকে সরিয়ে এনসিইকে সহজ করে।
কেন নেতিবাচকগুলি প্রায়শই ইউনিগ্রাম বিতরণ থেকে 3/4 পাওয়ারে উত্থাপিত হয়?
0.75 সূচকটি ফ্রিকোয়েন্সি বিতরণকে মসৃণ করে যাতে সাধারণ শব্দগুলি আধিপত্য বিস্তার করে না এবং বিরল শব্দগুলি এখনও উপস্থিত হয়।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড