হাইওয়ে নেটওয়ার্ক এবং সংযোগ এড়িয়ে যান

They solve the problem of training very deep networks, which paved the way for ResNets and modern deep learning.

সংযোগগুলি এড়িয়ে যাওয়ার আগে, অনেক স্তরগুলি স্ট্যাক করা নেটওয়ার্কগুলিকে কঠিন করে তোলে, প্রশিক্ষণের জন্য ভাল নয়, কারণ গ্রেডিয়েন্টগুলি অদৃশ্য হয়ে যায় এবং সংকেতগুলি হ্রাস পায়৷ হাইওয়ে নেটওয়ার্কগুলি, 2015 সালে প্রবর্তিত হয়েছিল, LSTM গেটিং দ্বারা অনুপ্রাণিত হয়ে, একটি স্তরের ইনপুট কতটা রূপান্তরিত হয় বনাম সরাসরি বাহিত হয় তা নিয়ন্ত্রণ করে শেখা গেটগুলি যুক্ত করেছে৷ শীঘ্রই, ResNets এটিকে অবশিষ্ট সংযোগে সরলীকৃত করে, যেখানে একটি স্তর একটি অবশিষ্ট ফাংশন শিখে এবং এর আউটপুট একটি পরিচয় শর্টকাটের মাধ্যমে তার ইনপুটে যোগ করা হয়। এই শর্টকাটগুলি গ্রেডিয়েন্টগুলিকে পিছনের দিকে প্রবাহিত করার জন্য সরাসরি পথ তৈরি করে, যার ফলে নেটওয়ার্কগুলিকে শত শত বা এমনকি এক হাজার স্তর গভীরে প্রশিক্ষণ দেওয়া সম্ভব হয়৷ সংযোগ এড়িয়ে যান এখন U-Nets, DenseNets, এবং ট্রান্সফরমার সহ সর্বত্র প্রদর্শিত হবে।