کنفارمر آرکیٹیکچر

It became the de facto standard encoder for state-of-the-art speech recognition.

2020 میں Google کے ذریعہ متعارف کرایا گیا، کنفارمر نے آڈیو ماڈلنگ میں ایک اہم تناؤ کا جواب دیا: خود توجہ (ٹرانسفارمرز کی طرف سے) عالمی تناظر میں بہت اچھی ہے لیکن مقامی، عمدہ نمونوں میں کمزور ہے جو فونیمز کو ممتاز کرتے ہیں، جبکہ کنوولوشنز مقامی طور پر بہتر ہوتے ہیں لیکن طویل عرصے تک دیکھنے کے لئے جدوجہد کرتے ہیں۔ کنفارمر بلاک انہیں ایک 'سینڈوچ' ڈیزائن میں ایک ساتھ سلائی کرتا ہے: ایک آدھے قدم کا فیڈ فارورڈ ماڈیول، پھر ایک ملٹی ہیڈ سیلف اٹینشن ماڈیول، پھر ایک کنولوشن ماڈیول، پھر دوسرا آدھا مرحلہ فیڈ فارورڈ ماڈیول، جس میں پرت نارملائزیشن اور بقایا کنکشن شامل ہیں۔ کنوولوشن ماڈیول گہرائی کے لحاظ سے الگ ہونے والے کنولوشنز اور گیٹڈ لکیری یونٹ کا استعمال کرتا ہے۔ ہر بلاک کے اندر مقامی اور عالمی پروسیسنگ کو آپس میں ملا کر، Conformer انکوڈرز LibriSpeech جیسے بینچ مارکس پر خالص ٹرانسفارمر یا خالص کنوولوشنل بیس لائنز پر لفظی غلطی کی شرح کو کافی حد تک کم کرتے ہیں۔