কি বিশেষজ্ঞদের মিশ্রণ (MoE)?

একটি টাস্ক যেখানে একটি মডেল এক বা একাধিক পূর্বনির্ধারিত বিভাগে একটি ইনপুট বরাদ্দ করে৷

একটি মনোযোগের প্যাটার্ন যেখানে প্রতিটি টোকেন গণনা কমাতে কাছাকাছি টোকেনের একটি নির্দিষ্ট-আকারের উইন্ডোতে উপস্থিত থাকে।

একটি মডেল উপাদান যা একটি আউটপুট উত্পাদন করার সময় গতিশীলভাবে একটি ইনপুটের প্রাসঙ্গিক অংশগুলিতে ফোকাস করে৷

একটি যুক্তির স্টাইল যেখানে একটি এআই মডেল একটি সমস্যাকে মধ্যবর্তী ধাপে পরিণত করে।

একটি মাল্টিমোডাল মডেল আর্কিটেকচার যা পাঠ্য এবং চিত্রের মধ্যে ভাগ করা উপস্থাপনা শেখে।

মডেলগুলিকে প্রশিক্ষণ এবং চালানোর জন্য প্রয়োজনীয় প্রক্রিয়াকরণ সংস্থানগুলি, প্রায়শই FLOPS বা GPU ঘন্টায় পরিমাপ করা হয়।