এআই শব্দকোষের মেয়াদ

মনোযোগ মেকানিজম কী?

সংজ্ঞা

একটি মডেল উপাদান যা একটি আউটপুট উত্পাদন করার সময় গতিশীলভাবে একটি ইনপুটের প্রাসঙ্গিক অংশগুলিতে ফোকাস করে৷

সম্পূর্ণ AI শব্দকোষ ব্রাউজ করুনসমস্ত বিনামূল্যের এআই গাইড এক্সপ্লোর করুন

সম্পর্কিত পদ

এনকোডারএকটি মডেলের উপাদান যা ইনপুটকে সুপ্ত উপস্থাপনায় রূপান্তরিত করে।মাল্টি-হেড মনোযোগএকটি ট্রান্সফরমার মেকানিজম যা বিভিন্ন ধরণের সম্পর্ক ক্যাপচার করার জন্য সমান্তরালভাবে বেশ কয়েকটি মনোযোগ ক্রিয়াকলাপ চালায়।ALiBiএকটি অবস্থানগত পক্ষপাত পদ্ধতি যা টোকেন দূরত্বের উপর ভিত্তি করে মনোযোগের স্কোরকে শাস্তি দেয়, মডেলগুলিকে দীর্ঘ প্রেক্ষাপটে এক্সট্রাপোলেট করতে সহায়তা করে।শ্রেণীবিভাগএকটি টাস্ক যেখানে একটি মডেল এক বা একাধিক পূর্বনির্ধারিত বিভাগে একটি ইনপুট বরাদ্দ করে৷প্রসঙ্গ উইন্ডোসর্বাধিক পরিমাণ ইনপুট টোকেন একটি ভাষা মডেল একবারে প্রক্রিয়া করতে পারে৷ডেটা ড্রিফ্টসময়ের সাথে সাথে বাস্তব-বিশ্বের ইনপুট ডেটাতে একটি পরিবর্তন যা মডেলের কার্যকারিতা হ্রাস করতে পারে।

আমাদের বিনামূল্যের গাইডে আরও জানুন

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

আরও দেখুন

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark