মাস্কড ল্যাঙ্গুয়েজ মডেলিং
মাস্কড ল্যাঙ্গুয়েজ মডেলিং একটি AI কে বাম এবং ডান উভয় ক্ষেত্রেই সম্পূর্ণ পারিপার্শ্বিক প্রসঙ্গ ব্যবহার করে ইচ্ছাকৃতভাবে লুকানো শব্দগুলি পূরণ করতে শেখায়।
ওভারভিউ
এটি বিইআরটির পিছনে প্রশিক্ষণের কৌশল এবং মডেলগুলি কেবল পরবর্তী কী হবে তা ভবিষ্যদ্বাণী করার চেয়ে বাক্যের অর্থ গভীরভাবে বুঝতে পারে।
গভীর ডুব
মাস্কড ল্যাঙ্গুয়েজ মডেলিং (এমএলএম) এ, আপনি একটি বাক্য গ্রহণ করেন, এলোমেলোভাবে একটি বিশেষ [MASK] চিহ্ন দিয়ে এর টোকেনের প্রায় 15% লুকিয়ে রাখেন এবং মডেলটিকে আসলটি অনুমান করতে প্রশিক্ষণ দেন। যেহেতু মডেলটি প্রতিটি খালির উভয় পাশে শব্দ দেখে, এটি প্রসঙ্গটির একটি দ্বিমুখী বোঝাপড়া তৈরি করে। BERT, 2018 সালে Google দ্বারা প্রবর্তিত, এটিকে জনপ্রিয় করেছে। একটি চতুর বিবরণ: মুখোশযুক্ত অবস্থানগুলির মধ্যে, প্রায় 80% [MASK] হয়ে যায়, 10% একটি এলোমেলো শব্দের জন্য অদলবদল করা হয় এবং 10% অপরিবর্তিত থাকে। এটি মডেলটিকে ভবিষ্যদ্বাণীর সময় শুধুমাত্র একটি [MASK] টোকেন আশা করতে বাধা দেয় এবং দৃঢ়তা জোর করে। এই প্রাক-প্রশিক্ষণের পরে, শ্রেণীবিভাগ, প্রশ্নের উত্তর এবং নাম-সত্তার স্বীকৃতির মতো কাজের জন্য মডেলটি সূক্ষ্মভাবে তৈরি করা হয়।
প্রযুক্তিগত অন্তর্দৃষ্টি
এমএলএম দ্বিমুখী স্ব-মনোযোগ সহ একটি ট্রান্সফরমার এনকোডার ব্যবহার করে, তাই প্রতিটি টোকেন একই সাথে অন্য সকলের সাথে যোগ দেয়। প্রকৃত টোকেন আইডিগুলির বিপরীতে ক্রস-এনট্রপি ব্যবহার করে শুধুমাত্র মুখোশযুক্ত অবস্থানে ক্ষতি গণনা করা হয়। কারণ মনোযোগ অ-কারণমূলক (কোনও ভবিষ্যৎ মুখোশ নেই), প্রতিটি শব্দের উপস্থাপনা বাম এবং ডান প্রসঙ্গকে একটি ঘন ভেক্টরে ফিউজ করে। সেই দ্বিমুখীতা ঠিক যা পরবর্তী-টোকেন মডেলগুলি তৈরি করার ক্ষমতার জন্য ছেড়ে দেয়।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
মুখোশযুক্ত ভাষা মডেলিংয়ের ভবিষ্যত
বিশুদ্ধ MLM আংশিকভাবে চ্যাটবটগুলির জন্য জেনারেটিভ ডিকোডার মডেল দ্বারা গ্রহন করা হয়েছে, তবে এটি এমবেডিং, পুনরুদ্ধার এবং শ্রেণিবিন্যাসের জন্য প্রভাবশালী রয়ে গেছে যেখানে বোঝা প্রজন্মকে হারায়। RoBERta, ELECTRA এর প্রতিস্থাপিত-টোকেন সনাক্তকরণ, এবং DeBERTa-এর মতো ভেরিয়েন্টগুলি নির্ভুলতা এবং কার্যকারিতা বজায় রাখে। MLM-শৈলীর এনকোডারগুলি অনুসন্ধানের কেন্দ্রবিন্দুতে থাকবে, শব্দার্থগত মিল এবং বৃহত্তর পুনরুদ্ধার-বর্ধিত এবং মাল্টিমোডাল সিস্টেমের মধ্যে হালকা উপাদান হিসাবে থাকবে যেখানে দ্রুত, গভীর উপলব্ধি ফ্রি-ফর্ম পাঠ্যের চেয়ে বেশি গুরুত্বপূর্ণ।
বাস্তব-বিশ্ব বাস্তবায়ন
Google আরও প্রাসঙ্গিক পৃষ্ঠাগুলি ফেরত দেওয়ার জন্য কথোপকথনমূলক প্রশ্নের অনুসন্ধানের BERT-ভিত্তিক বোঝাপড়াকে শক্তিশালী করা।
শব্দার্থিক অনুসন্ধান এবং নথি পুনরুদ্ধার সিস্টেমের জন্য বাক্য এম্বেডিং তৈরি করা।
পণ্য পর্যালোচনা বা সমর্থন টিকিটের অনুভূতি বিশ্লেষণের জন্য ফাইন-টিউনিং BERT।
নাম-সত্তার স্বীকৃতি যা আইনি বা চিকিৎসা টেক্সট থেকে ব্যক্তি, সংস্থা এবং তারিখ বের করে।
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Masked Language Modeling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
ভাষা মডেলিং
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
মাস্কড ল্যাঙ্গুয়েজ মডেলিং কি?
মাস্কড ল্যাঙ্গুয়েজ মডেলিং একটি AI কে বাম এবং ডান উভয় ক্ষেত্রেই সম্পূর্ণ পারিপার্শ্বিক প্রসঙ্গ ব্যবহার করে ইচ্ছাকৃতভাবে লুকানো শব্দগুলি পূরণ করতে শেখায়। এটি BERT এর পিছনে প্রশিক্ষণের কৌশল এবং কারণ মডেলগুলি পরবর্তী কী হবে তা অনুমান করার পরিবর্তে বাক্যের অর্থ গভীরভাবে বুঝতে পারে।
মুখোশযুক্ত ভাষা মডেলিং এর মূল প্রশিক্ষণ টাস্ক কি?
MLM টোকেনগুলির একটি ভগ্নাংশ লুকিয়ে রাখে এবং বাম এবং ডান উভয় প্রসঙ্গ ব্যবহার করে সেগুলি পুনরুদ্ধার করতে মডেলটিকে প্রশিক্ষণ দেয়।
মোটামুটিভাবে কত শতাংশ টোকেন BERT সাধারণত প্রাক-প্রশিক্ষণের সময় মাস্ক করে?
BERT প্রায় 15% ইনপুট টোকেনকে মাস্ক করে, পর্যাপ্ত সংকেত দেওয়া এবং যথেষ্ট প্রসঙ্গ ছেড়ে যাওয়ার মধ্যে একটি ভারসাম্য।
কেন এমএলএম একটি মডেল দ্বিমুখী বোঝাপড়া দেয়?
ট্রান্সফরমার এনকোডার অ-কারণমূলক স্ব-মনোযোগ ব্যবহার করে, তাই প্রতিটি টোকেন উভয় পক্ষের অন্য সকলকে দেখতে পারে।
BERT-এর মাস্কিং স্কিমে, [MASK] হওয়ার পরিবর্তে প্রায় 10% নির্বাচিত পদের কী হবে?
দৃঢ়তা উন্নত করার জন্য, 10% মুখোশযুক্ত অবস্থান একটি এলোমেলো টোকেনের জন্য অদলবদল করা হয় এবং 10% অপরিবর্তিত রাখা হয়।
কোন পজিশনে এমএলএম ক্ষতি গণনা করা হয়?
ক্রস-এনট্রপি ক্ষতি শুধুমাত্র মুখোশযুক্ত অবস্থানে প্রয়োগ করা হয়, মূল টোকেন আইডিগুলির সাথে পূর্বাভাস তুলনা করে।