গভীরতার মিশ্রণ

স্ট্যান্ডার্ড ট্রান্সফরমার প্রতিটি স্তর প্রতিটি টোকেনে প্রয়োগ করে, এমনকি বিরাম চিহ্নের মতো তুচ্ছ। 2024 সালে Google DeepMind দ্বারা প্রবর্তিত গভীরতার মিশ্রণ, প্রতিটি ব্লকে একটি ছোট রাউটার যোগ করে যা সম্পূর্ণ স্ব-মনোযোগ এবং MLP গণনার মধ্য দিয়ে টোকেনের একটি নির্দিষ্ট টপ-কে ভগ্নাংশ নির্বাচন করে; অবশিষ্টাংশ একটি অবশিষ্ট সংযোগের মাধ্যমে ব্লকটি এড়িয়ে যান। যেহেতু প্রতি স্তরে শুধুমাত্র k টোকেনগুলি প্রক্রিয়া করা হয়, তাই মোট গণনা (FLOPs) ক্যাপ করা হয় এবং আগে থেকেই পরিচিত হয়, পূর্বের গতিশীল-গভীরতা পদ্ধতিগুলির বিপরীতে যা অপ্রত্যাশিতভাবে পরিবর্তিত হয়। এটি ব্যাচিং এবং হার্ডওয়্যার ব্যবহার দক্ষ করে তোলে। MoD-প্রশিক্ষিত মডেলগুলি ফরওয়ার্ড পাসে কম FLOP ব্যবহার করে একটি বেসলাইন ট্রান্সফরমারের গুণমানের সাথে মিলতে পারে, বা একই কম্পিউটে উচ্চতর গুণমানে পৌঁছাতে পারে এবং ধারণাটি স্বাভাবিকভাবেই মিক্সচার-অফ-বিশেষজ্ঞদের সাথে 'MoDE' মডেলগুলিকে গভীরতা এবং প্রস্থ উভয় ক্ষেত্রেই দিতে পারে।