মনোযোগ মেকানিজম
মনোযোগ একটি মডেলকে সিদ্ধান্ত নিতে দেয় যে প্রতিটি শব্দের ব্যাখ্যা করার সময় একটি বাক্যে অন্য কোন শব্দগুলি সবচেয়ে গুরুত্বপূর্ণ।
ওভারভিউ
It is the core idea that made the transformer — and therefore modern AI like ChatGPT — possible.
গভীর ডুব
মনোযোগ প্রতিটি শব্দের জন্য একটি সহজ প্রশ্নের উত্তর দেয়: এটি বোঝার জন্য আমার অন্য কোন শব্দের দিকে নজর দেওয়া উচিত? ভাসওয়ানি এবং Google-এর সহকর্মীদের দ্বারা 2017 সালের গবেষণাপত্র 'অ্যাটেনশন ইজ অল ইউ নিড' ট্রান্সফরমারটি প্রবর্তন করেছে, যা মনোযোগকে এর প্রধান ইঞ্জিন হিসেবে ব্যবহার করে এবং পুরানো পুনরাবৃত্ত নকশাগুলিকে বাদ দেয়। প্রতিটি টোকেন তিনটি ভেক্টরে পরিণত হয়: একটি প্রশ্ন (আমি কী খুঁজছি?), একটি কী (আমি কী অফার করব?), এবং একটি মান (আমি যে তথ্য বহন করি)। একটি টোকেনের ক্যোয়ারী মনোযোগ ওজন তৈরি করার জন্য প্রতিটি টোকেনের কী এর সাথে তুলনা করা হয়, যা তারপরে মানগুলিকে একত্রিত করে। স্ব-মনোযোগ একটি অনুক্রমের মধ্যে এটি করে যাতে প্রতিটি শব্দ অন্য প্রতিটি শব্দে সরাসরি উপস্থিত হতে পারে। মাল্টি-হেড অ্যাটেনশন সমান্তরালভাবে এই ধরনের অনেকগুলি তুলনা চালায়, প্রতিটি আলাদা প্যাটার্নের উপর ফোকাস করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
গণিত স্কেল করা হয় ডট-প্রোডাক্ট অ্যাটেনশন: softmax(QK^T / √d_k) V. প্রশ্ন এবং কী স্কোরের ডট প্রোডাক্ট প্রতিটি জোড়া কতটা প্রাসঙ্গিক; মূল মাত্রা (√d_k) এর বর্গমূল দ্বারা ভাগ করলে সেই স্কোরগুলিকে খুব বড় হওয়া থেকে বিরত রাখে; সফ্টম্যাক্স তাদের ওজনে পরিণত করে যার যোগফল এক হয়; এবং V দ্বারা গুণ করা মানগুলির একটি ওজনযুক্ত মিশ্রণ তৈরি করে। যেহেতু প্রতিটি টোকেন একে অপরের সাথে তুলনা করে, খরচ ক্রম দৈর্ঘ্যের বর্গক্ষেত্রের সাথে বৃদ্ধি পায় — O(n²) — যার কারণে দীর্ঘ ইনপুটগুলি ব্যয়বহুল এবং কেন FlashAttention-এর মতো অপ্টিমাইজেশন বিদ্যমান।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
অ্যাক্সেস এবং পৌঁছানো
এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
সুস্পষ্ট সিদ্ধান্ত
অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
দ্যা ফিউচার অফ অ্যাটেনশন মেকানিজম
মনোযোগ এখানে থাকার জন্য, কিন্তু এর চতুর্মুখী খরচ তীব্র গবেষণা চালায়। FlashAttention গণনার পুনর্বিন্যাস করে মানক মনোযোগকে অনেক দ্রুত এবং আরও মেমরি-দক্ষ করেছে। নতুন দিকনির্দেশের মধ্যে রয়েছে বিক্ষিপ্ত এবং রৈখিক মনোযোগ, প্রজন্মের সময় মেমরি সঙ্কুচিত করার জন্য দলবদ্ধ এবং বহু-কোয়েরি মনোযোগ, এবং হাইব্রিড ডিজাইন যা মাম্বার মতো স্টেট-স্পেস মডেলগুলির সাথে খুব দীর্ঘ ইনপুটগুলির জন্য মনোযোগ মিশ্রিত করে। ভবিষ্যত সিস্টেমগুলি খরচের বক্ররেখা বাঁকানোর সময় মনোযোগের নমনীয়তা বজায় রাখার প্রত্যাশা করে যাতে বই-দৈর্ঘ্য বা বহু-নথিপত্র ইনপুটগুলি প্রক্রিয়াকরণ রুটিন এবং সাশ্রয়ী হয়।
বাস্তব-বিশ্ব বাস্তবায়ন
মেশিন অনুবাদ, যেখানে মডেল প্রতিটি অনুবাদিত শব্দ তৈরি করার সময় প্রাসঙ্গিক উত্স শব্দগুলিতে উপস্থিত থাকে।
সংক্ষিপ্তকরণ, যেখানে মনোযোগ মডেলটিকে একটি দীর্ঘ নিবন্ধের সবচেয়ে গুরুত্বপূর্ণ বাক্যগুলিতে ফোকাস করতে সহায়তা করে।
কোড সহকারী যারা পরবর্তী লাইনের পূর্বাভাস দেওয়ার সময় পূর্ববর্তী পরিবর্তনশীল সংজ্ঞাগুলিতে ফিরে আসে।
একটি নথির উপর প্রশ্নের উত্তর দেওয়া, যেখানে মনোযোগ প্রশ্নের শব্দগুলিকে উত্তর ধারণ করে এমন প্যাসেজের সাথে লিঙ্ক করে।
ঝুঁকি এবং প্রহরী
হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
বাস্তবায়ন রোডম্যাপ
রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Attention Mechanisms quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
স্লাইডিং উইন্ডো মনোযোগ
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Attention Mechanisms?
মনোযোগ একটি মডেলকে সিদ্ধান্ত নিতে দেয় যে প্রতিটি শব্দের ব্যাখ্যা করার সময় একটি বাক্যে অন্য কোন শব্দগুলি সবচেয়ে গুরুত্বপূর্ণ। এটি মূল ধারণা যা ট্রান্সফরমার - এবং তাই আধুনিক AI যেমন ChatGPT - সম্ভব করেছে।
এক বাক্যে, মনোযোগের প্রক্রিয়া কী করে?
মনোযোগ এমন ওজন গণনা করে যা নির্ধারণ করে যে প্রতিটি টোকেন তার প্রতিনিধিত্ব তৈরি করার সময় অন্যান্য টোকেনের উপর কতটা আঁকতে হবে।
কোন ল্যান্ডমার্ক 2017 কাগজ ট্রান্সফরমার আর্কিটেকচার চালু করেছে?
'অ্যাটেনশন ইজ অল ইউ নিড' (ভাসওয়ানি এট আল।, 2017) ট্রান্সফরমারের প্রস্তাব করেছে, যা পুনরাবৃত্তির পরিবর্তে মনোযোগের উপর নির্ভর করে।
মনোযোগের প্রতিটি টোকেনের জন্য তিনটি ভেক্টর গণনা করা হয়?
প্রতিটি টোকেন একটি প্রশ্ন, একটি কী এবং একটি মান তৈরি করে; প্রশ্নগুলি মানগুলি ওজন করার জন্য কীগুলির সাথে মিলে যায়৷
softmax(QK^T / √d_k) V সূত্রে, কেন √d_k দিয়ে ভাগ করবেন?
মূল মাত্রার বর্গমূল দ্বারা স্কেলিং বড় ডট পণ্যগুলিকে বাধা দেয় যা সফটম্যাক্সকে ক্ষুদ্র গ্রেডিয়েন্টে ঠেলে দেয়, প্রশিক্ষণকে স্থিতিশীল রাখে।
কেন স্ট্যান্ডার্ড স্ব-মনোযোগ খুব দীর্ঘ ইনপুট জন্য ব্যয়বহুল হয়ে ওঠে?
প্রতিটি টোকেন অন্য প্রতিটি টোকেনে উপস্থিত থাকে, তাই তুলনার সংখ্যা n² হিসাবে পরিমাপ করে, দীর্ঘ ক্রমগুলিকে সময় এবং স্মৃতিতে ব্যয়বহুল করে তোলে।