محولات الرؤية

They proved that you do not need convolutions to achieve state-of-the-art image recognition.

لسنوات عديدة، هيمنت الشبكات العصبية التلافيفية (CNN) على رؤية الكمبيوتر عن طريق مسح المرشحات الصغيرة عبر الصورة. تحدت ورقة عام 2020 بعنوان "الصورة تستحق 16 × 16 كلمة" من Google هذا الأمر عن طريق تقطيع الصورة إلى بقع ثابتة، عادةً 16 × 16 بكسل، وتسطيح كل منها في متجه، وتغذية التسلسل الناتج في محول قياسي. تصبح كل رقعة "رمزًا مميزًا"، تمامًا مثل كلمة في جملة. يستخدم النموذج بعد ذلك الاهتمام الذاتي بحيث يمكن لكل رقعة أن ترتبط مباشرة بكل رقعة أخرى، وتلتقط علاقات طويلة المدى لا يمكن لمرشح تلافيفي صغير رؤيتها في خطوة واحدة. المعضلة: إن ViTs متعطشة للبيانات لأنها تفتقر إلى الافتراضات المضمنة في شبكات CNN. وبعد تدريبهم على مجموعات بيانات هائلة مثل JFT-300M، تمكنوا من مطابقة أفضل شبكات CNN أو التغلب عليها، مما أعاد تشكيل أبحاث الرؤية الحديثة.