কন্ডিশনাল কম্পিউটেশনে গেটিং এবং রাউটিং

গেটিং এবং রাউটিং একটি নিউরাল নেটওয়ার্ক প্রতিবার পুরো মডেল চালানোর পরিবর্তে প্রতিটি ইনপুটের জন্য প্রয়োজনীয় অংশগুলিকে সক্রিয় করতে দেয়। এটি কম্পিউট খরচ থেকে মডেলের আকারকে দ্বিগুণ করে, বিশাল মডেলগুলিকে সক্ষম করে যা দ্রুত এবং সস্তায় চালানো যায়।

শর্তসাপেক্ষ গণনা কোন উপ-মডিউল চালানো হবে সে সম্পর্কে ডেটা-নির্ভর পছন্দ করে, তাই বেশিরভাগ নেটওয়ার্ক যে কোনো ইনপুটের জন্য নিষ্ক্রিয় থাকতে পারে।

রাউটার হল একটি ছোট শেখা নেটওয়ার্ক যা বিশেষজ্ঞদের স্কোর করে এবং প্রতিটি টোকেন টপ-কে বিশেষজ্ঞদের কাছে পাঠায়, বাকিটা সেই টোকেনের জন্য অব্যবহৃত রেখে দেয়।

যেহেতু টোকেন প্রতি শুধুমাত্র এক বা দুইজন বিশেষজ্ঞ সক্রিয় করা হয়েছে, রানটাইম কম্পিউট শুধুমাত্র সেই বিশেষজ্ঞদের প্রতিফলিত করে যদিও মডেলটি আরও অনেক কিছু সঞ্চয় করে।

রাউটারগুলি স্বাভাবিকভাবেই কিছু জনপ্রিয় বিশেষজ্ঞের কাছে বেশিরভাগ টোকেন পাঠাতে থাকে; লোড-ব্যালেন্সিং লস একটি সমান স্প্রেডকে উৎসাহিত করে যাতে সমস্ত বিশেষজ্ঞরা প্রশিক্ষিত হন।

শীর্ষ-কে বিশেষজ্ঞদের বাছাই করা একটি কঠিন, বিচ্ছিন্ন সিদ্ধান্ত; গ্রেডিয়েন্টগুলি শুধুমাত্র সেই বিশেষজ্ঞদের মাধ্যমে প্রচার করতে পারে যা প্রকৃতপক্ষে নির্বাচিত হয়েছিল এবং তাদের গেটের ওজন।