شبكات الطرق السريعة وتخطي الاتصالات

They solve the problem of training very deep networks, which paved the way for ResNets and modern deep learning.

قبل تخطي الاتصالات، كان تكديس العديد من الطبقات يجعل تدريب الشبكات أكثر صعوبة، وليس أفضل، بسبب اختفاء التدرجات وتدهور الإشارات. أضافت شبكات الطرق السريعة، التي تم تقديمها في عام 2015، بوابات تعلمية تتحكم في مقدار مدخلات الطبقة التي يتم تحويلها مقابل نقلها مباشرة، مستوحاة من بوابة LSTM. بعد فترة وجيزة، قامت ResNets بتبسيط ذلك في الاتصال المتبقي، حيث تتعلم الطبقة وظيفة متبقية ويتم إضافة مخرجاتها إلى مدخلاتها عبر اختصار الهوية. تعمل هذه الاختصارات على إنشاء مسارات مباشرة لتدفق التدرجات للخلف، مما يجعل من الممكن تدريب الشبكات على عمق مئات أو حتى آلاف الطبقات. تظهر الآن تخطي الاتصالات في كل مكان، بما في ذلك U-Nets وDenseNets والمحولات.