এআই শব্দকোষের মেয়াদ

ফ্ল্যাশ মনোযোগ কী?

সংজ্ঞা

একটি অপ্টিমাইজ করা মনোযোগ অ্যালগরিদম যা মেমরির ব্যবহার হ্রাস করে এবং ট্রান্সফরমার প্রশিক্ষণ এবং অনুমানকে গতি দেয়।

সম্পূর্ণ AI শব্দকোষ ব্রাউজ করুনসমস্ত বিনামূল্যের এআই গাইড এক্সপ্লোর করুন

সম্পর্কিত পদ

ফিচার স্টোরপ্রশিক্ষণ এবং অনুমানের জন্য ধারাবাহিকভাবে বৈধ ML বৈশিষ্ট্য সংরক্ষণ এবং পরিবেশন করার জন্য একটি পরিচালিত সিস্টেম।ব্যাকপ্রপাগেশনমূল প্রশিক্ষণ অ্যালগরিদম যা নেটওয়ার্কের মাধ্যমে পূর্বাভাস ত্রুটিগুলিকে পিছনের দিকে প্রচার করে মডেল ওজন আপডেট করে।মডেল কোয়ান্টাইজেশনমেমরি এবং অনুমান খরচ কমাতে মডেল ওজনের সাংখ্যিক নির্ভুলতা হ্রাস করা।ট্রান্সফরমারএকটি নিউরাল আর্কিটেকচার যা সমান্তরালভাবে সিকোয়েন্স জুড়ে মডেল সম্পর্কের প্রতি মনোযোগ ব্যবহার করে।প্রশিক্ষণের ক্ষতিমডেল ত্রুটি মান প্রশিক্ষণের সময় গণনা করা হয় এবং সময়ের সাথে সাথে নিচের দিকে অপ্টিমাইজ করা হয়।মাল্টি-হেড মনোযোগএকটি ট্রান্সফরমার মেকানিজম যা বিভিন্ন ধরণের সম্পর্ক ক্যাপচার করার জন্য সমান্তরালভাবে বেশ কয়েকটি মনোযোগ ক্রিয়াকলাপ চালায়।

আমাদের বিনামূল্যের গাইডে আরও জানুন

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

আরও দেখুন

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop