দীর্ঘ স্বল্পমেয়াদী মেমরি কোষ
লং শর্ট-টার্ম মেমরি (LSTM) সেল হল একটি বিশেষ ধরনের পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ইউনিট যা দীর্ঘ ক্রম জুড়ে তথ্য মনে রাখার জন্য নির্মিত।
ওভারভিউ
They solved the vanishing-gradient problem that crippled earlier RNNs, powering a decade of breakthroughs in language, speech, and translation.
গভীর ডুব
1997 সালে Sepp Hochreiter এবং Jurgen Schmidhuber দ্বারা প্রবর্তিত, LSTM সেল একটি 'সেল অবস্থা' বজায় রাখে যা ক্রমানুসারে চলমান মেমরির পরিবাহক বেল্টের মতো কাজ করে। তিনটি শেখা গেট এটি নিয়ন্ত্রণ করে: ভুলে যাওয়া গেট সিদ্ধান্ত নেয় কী মুছে ফেলতে হবে, ইনপুট গেট সিদ্ধান্ত নেয় কোন নতুন তথ্য সংরক্ষণ করতে হবে এবং আউটপুট গেট সিদ্ধান্ত নেয় যে সেলের আউটপুট হিসাবে কী প্রকাশ করা হবে। প্রতিটি গেট একটি নরম সুইচ হিসাবে কাজ করার জন্য একটি সিগময়েড (0 থেকে 1 আউটপুট) ব্যবহার করে। যেহেতু কোষের অবস্থা বারবার গুণনের পরিবর্তে যোগের মাধ্যমে আপডেট করা হয়, গ্রেডিয়েন্টগুলি শূন্যে সঙ্কুচিত না হয়ে অনেক সময় ধাপে পিছনের দিকে প্রবাহিত হতে পারে, LSTM-গুলিকে কয়েকশ ধাপ দূরে নির্ভরতা শিখতে দেয়। ট্রান্সফরমারের আগে, এলএসটিএম Google অনুবাদ, বক্তৃতা শনাক্তকরণ, এবং পাঠ্য তৈরি করে।
প্রযুক্তিগত অন্তর্দৃষ্টি
ভ্যানিশিং-গ্রেডিয়েন্ট ফিক্স সেল স্টেটের কাছাকাছি-লিনিয়ার আপডেট থেকে আসে: c_t = f_t * c_{t-1} + i_t * g_t। ভুলে যাওয়া গেট f_t (একটি সিগমায়েড) 1-এর কাছাকাছি থাকতে পারে, একটি 'ধ্রুবক এরর ক্যারোজেল' তৈরি করে যাতে ত্রুটি সংকেতগুলি দীর্ঘ স্প্যান জুড়ে ব্যাকপ্রপাগেশন-থ্রু-টাইম বেঁচে থাকে। গেটস হল ছোট স্নায়ু স্তর (গ্যাটিং এর জন্য সিগমায়েড, প্রার্থীর মানের জন্য তান), সবই গ্রেডিয়েন্ট ডিসেন্ট দ্বারা যৌথভাবে প্রশিক্ষিত। এই গেটিং নেটওয়ার্ককে কী রাখতে হবে এবং কী বাতিল করতে হবে তা শিখতে দেয়৷
কৌশলগত প্রভাব
সুস্পষ্ট সিদ্ধান্ত
এটি আপনাকে বিপণনের ভাষা থেকে স্পষ্ট প্রযুক্তিগত দাবিগুলি আলাদা করতে সহায়তা করে।
খরচ ও বাজেট
অর্থ বা সময় ব্যয় করার আগে আপনি আরও ভাল বাস্তবায়ন প্রশ্ন জিজ্ঞাসা করতে পারেন।
টিম এবং ওয়ার্কফ্লো
ভাগ করা বোঝাপড়া সহ দলগুলি আরও ভাল পণ্য, নীতি এবং শেখার সিদ্ধান্ত নেয়।
দীর্ঘ স্বল্পমেয়াদী মেমরি কোষের ভবিষ্যত
ট্রান্সফরমারগুলি বড় আকারের ভাষার কাজের জন্য LSTMগুলিকে অনেকাংশে ছাড়িয়ে গেছে কারণ তারা একটি ক্রম জুড়ে সমান্তরাল করে এবং মনোযোগের মাধ্যমে দীর্ঘ-পরিসরের প্রসঙ্গ ক্যাপচার করে, যেখানে LSTMগুলি একবারে এক ধাপ টোকেন প্রক্রিয়া করে। এখনও, LSTMগুলি স্ট্রিমিং, কম-বিলম্বিততা, এবং সংস্থান-সীমাবদ্ধ সেটিংস এবং পরিমিত সময়-সিরিজ ডেটার জন্য মূল্যবান থেকে যায়। xLSTM (2024) এর মতো সাম্প্রতিক কাজগুলি নতুন গেটিং এবং মেমরি দিয়ে স্থাপত্যকে পুনরালোচনা করে এবং আধুনিকীকরণ করে স্কেলে প্রতিযোগিতা করার জন্য, ধারণাটি শেষ হয়নি।
বাস্তব-বিশ্ব বাস্তবায়ন
ট্রান্সফরমারের দায়িত্ব নেওয়ার আগে Google ট্রান্সলেটের নিউরাল সিস্টেমের প্রথম দিকে মেশিন অনুবাদকে শক্তিশালী করা।
ভয়েস অ্যাসিস্ট্যান্ট এবং ডিকটেশন সফ্টওয়্যারে স্পিচ-টু-টেক্সট স্বীকৃতি।
শক্তির চাহিদা, সেন্সর রিডিং বা স্টকের দামের মতো সময় সিরিজে ভবিষ্যত মানগুলির পূর্বাভাস।
একটি সময়ে একটি টোকেন এবং স্বয়ংসম্পূর্ণ সিকোয়েন্স তৈরি করা পাঠ্য বা সঙ্গীত।
ঝুঁকি এবং প্রহরী
বিভিন্ন দল একই শব্দটি ভিন্নভাবে ব্যবহার করতে পারে, তাই সুযোগটি আগে থেকেই নির্ধারণ করুন।
বেঞ্চমার্কগুলি শক্তিশালী দেখাতে পারে যখন বাস্তব-বিশ্বের কর্মক্ষমতা অসম হয়।
ডেটা গুণমান এবং মূল্যায়ন পরিকল্পনা উপেক্ষা করা প্রায়ই ভঙ্গুর ফলাফল তৈরি করে।
বাস্তবায়ন রোডম্যাপ
আপনার প্রয়োজনীয় ফলাফলের একটি সরল-ভাষা সংজ্ঞা দিয়ে শুরু করুন।
পরীক্ষার আগে একটি সাফল্যের মেট্রিক এবং একটি ব্যর্থতার শর্ত বাছুন।
একটি পালিশ ডেমো সেট নয়, প্রতিনিধি ডেটা সহ একটি ছোট পাইলট চালান৷
নথি যেখানে দীর্ঘ স্বল্পমেয়াদী মেমরি কোষ সাহায্য করে এবং যেখানে সহজ পদ্ধতিগুলি ভাল।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Long Short-Term Memory Cells quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
GPU মেমরি ম্যানেজমেন্ট এবং ফ্র্যাগমেন্টেশন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Long Short-Term Memory Cells?
লং শর্ট-টার্ম মেমরি (LSTM) সেল হল একটি বিশেষ ধরনের পুনরাবৃত্ত নিউরাল নেটওয়ার্ক ইউনিট যা দীর্ঘ ক্রম জুড়ে তথ্য মনে রাখার জন্য নির্মিত। তারা অদৃশ্য হয়ে যাওয়া-গ্রেডিয়েন্ট সমস্যাটি সমাধান করেছে যা আগের আরএনএনগুলিকে বিকল করে দিয়েছিল, ভাষা, বক্তৃতা এবং অনুবাদে এক দশকের অগ্রগতির শক্তি যোগায়।
কোন তিনটি গেট একটি স্ট্যান্ডার্ড LSTM কক্ষে তথ্য প্রবাহ নিয়ন্ত্রণ করে?
একটি LSTM একটি ভুলে গেট (কি মুছতে হবে), একটি ইনপুট গেট (কী সংরক্ষণ করতে হবে), এবং একটি আউটপুট গেট (কী প্রকাশ করতে হবে), প্রতিটি একটি শেখা সিগমায়েড ব্যবহার করে।
পূর্ববর্তী আরএনএনগুলির সাথে LSTMগুলি কোন বড় সমস্যা সমাধান করেছিল?
স্ট্যান্ডার্ড আরএনএনগুলি অদৃশ্য গ্রেডিয়েন্টের শিকার হয় যা দীর্ঘ-পরিসর নির্ভরতা শেখার বাধা দেয়; LSTM এর সংযোজন কোষের অবস্থা গ্রেডিয়েন্টগুলিকে টিকে থাকতে দেয়।
LSTM কে প্রবর্তন করেন এবং কত সালে?
Sepp Hochreiter এবং Jurgen Schmidhuber 1997 সালে LSTM প্রকাশ করেন।
কেন LSTM সেল স্টেট গ্রেডিয়েন্টগুলিকে অনেক সময় ধাপে টিকে থাকতে সাহায্য করে?
সংযোজন আপডেট ('ধ্রুবক ত্রুটি ক্যারোজেল') বারবার গুণনগুলি এড়িয়ে যায় যা গ্রেডিয়েন্টকে সঙ্কুচিত করে, তাই ত্রুটি সংকেতগুলি দীর্ঘ স্প্যানগুলিতে ফিরে আসে।
LSTM গেটগুলি সাধারণত সফট অন/অফ সুইচ হিসাবে কাজ করার জন্য কোন অ্যাক্টিভেশন ফাংশন ব্যবহার করে?
গেটস একটি সিগমায়েড ব্যবহার করেন, যার 0-থেকে-1 আউটপুট স্কেল করে যে কত তথ্য পাস হয়, একটি নরম সুইচের মতো কাজ করে।