অবশিষ্ট নেটওয়ার্ক
অবশিষ্ট নেটওয়ার্কগুলি (ResNets) হল গভীর নিউরাল নেটওয়ার্ক যা 'কানেকশন এড়িয়ে যান' যোগ করে যাতে স্তরগুলিকে সম্পূর্ণ রূপান্তরের পরিবর্তে ছোট সমন্বয় শিখতে দেয়।
ওভারভিউ
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
গভীর ডুব
ResNets এর আগে, অনেক স্তরের স্ট্যাকিং প্যারাডক্সিকলি নেটওয়ার্কগুলি আরও খারাপ কাজ করে, এমনকি প্রশিক্ষণ ডেটাতেও, একটি সমস্যা যাকে বলে অবক্ষয়। 2015 সালে, Microsoft গবেষক কাইমিং তিনি এবং সহকর্মীরা অবশিষ্ট ব্লক প্রবর্তন করেছিলেন: স্তরগুলির একটি স্ট্যাককে একটি আউটপুট H(x) সরাসরি তৈরি করতে বলার পরিবর্তে, তারা এটিকে একটি অবশিষ্ট F(x) = H(x) - x শিখতে দেয়, তারপরে একটি শর্টকাটের মাধ্যমে মূল ইনপুট x ফিরে যোগ করে৷ যদি একটি স্তর অপ্রয়োজনীয় হয়, তবে এটি কেবল কিছুই করতে শিখতে পারে (F(x) = 0)। ResNet-152 2015 ইমেজনেট প্রতিযোগিতায় প্রায় 3.6 শতাংশের শীর্ষ-5 ত্রুটির সাথে জিতেছে, মানব-স্তরের অনুমানকে পরাজিত করেছে এবং এর স্থাপত্য সনাক্তকরণ, বিভাজন এবং মেডিকেল ইমেজিংয়ের জন্য একটি মৌলিক মেরুদণ্ড হয়ে উঠেছে।
প্রযুক্তিগত অন্তর্দৃষ্টি
স্কিপ কানেকশন প্রতিটি ব্লকের কাজকে y = F(x) + x এ পরিণত করে। ব্যাকপ্রোপাগেশনের সময়, গ্রেডিয়েন্ট অপরিবর্তিত পরিচয় শর্টকাটের মধ্য দিয়ে প্রবাহিত হয়, তাই এটি শত শত স্তর জুড়েও শূন্যের কাছাকাছি চলে যেতে পারে না। এটি গভীর স্ট্যাকগুলিকে প্রশিক্ষণযোগ্য রাখে। আইডেন্টিটি শর্টকাট কোনো অতিরিক্ত প্যারামিটার যোগ করে না; শুধুমাত্র যখন ইনপুট এবং আউটপুট মাপ ভিন্ন হয় তখন একটি ছোট প্রজেকশন (1x1 কনভোলিউশন) যোগ করার আগে মাত্রা সামঞ্জস্য করে।
কৌশলগত প্রভাব
গতি এবং স্কেল
ভিজ্যুয়াল এআই স্কেলে পরিদর্শন, সনাক্তকরণ এবং ট্যাগিং কাজগুলি স্বয়ংক্রিয়ভাবে করতে পারে।
পছন্দগুলি তৈরি করুন
সৃজনশীল দলগুলি কম ম্যানুয়াল সংশোধন সহ ধারণাগুলিকে দ্রুত প্রোটোটাইপ করতে পারে।
টিম এবং ওয়ার্কফ্লো
অপারেশনগুলি ইমেজ এবং ভিডিও সংকেত ব্যবহার করতে পারে যা আগে প্রক্রিয়া করা কঠিন ছিল।
অবশিষ্ট নেটওয়ার্কের ভবিষ্যত
অবশিষ্ট সংযোগগুলি এখন প্রায় সর্বজনীন: ট্রান্সফরমার, ডিফিউশন মডেল এবং বৃহৎ ভাষার মডেলগুলি এগুলিকে খুব গভীর স্ট্যাকের প্রশিক্ষণ স্থিতিশীল করতে ব্যবহার করে। প্রাক-অ্যাক্টিভেশন ResNets, ResNeXt-এর গোষ্ঠীবদ্ধ পথ এবং স্বাভাবিকীকরণ-মুক্ত প্রশিক্ষণের সাথে অবশিষ্ট ধারণাগুলিকে একত্রিত করার মত বৈকল্পিক নিয়ে গবেষণা চলতে থাকে। মূল স্কিপ-কানেকশন নীতিটি একটি ডিফল্ট বিল্ডিং ব্লক হিসাবে টিকে থাকবে বলে আশা করুন, এমনকি আশেপাশের আর্কিটেকচারগুলি মনোযোগ এবং হাইব্রিড ডিজাইনের দিকে বিশুদ্ধ কনভোলিউশন থেকে দূরে সরে যায়।
বাস্তব-বিশ্ব বাস্তবায়ন
ইমেজনেট ক্লাসিফিকেশন ব্যাকবোনস (ResNet-50, ResNet-101) স্থানান্তর শেখার জন্য পূর্বপ্রশিক্ষিত বৈশিষ্ট্য এক্সট্র্যাক্টর হিসাবে ব্যবহৃত হয়
ResNet-ভিত্তিক এনকোডার ব্যবহার করে রেডিওলজি এবং প্যাথলজি চিত্রগুলিতে টিউমার এবং ক্ষত সনাক্তকরণ
অবজেক্ট ডিটেকশন এবং ইনস্ট্যান্স সেগমেন্টেশন ফ্রেমওয়ার্ক যেমন ফাস্টার R-CNN এবং মাস্ক R-CNN যেগুলি ResNet ব্যাকবোন ব্যবহার করে
স্ব-ড্রাইভিং উপলব্ধি পাইপলাইন যা পথচারী, যানবাহন এবং ক্যামেরা ফ্রেমের চিহ্নগুলিকে শ্রেণিবদ্ধ করে
ঝুঁকি এবং প্রহরী
প্রমাণ অস্পষ্ট হলে ছবির অধিকার এবং সম্মতি আইনি ঝুঁকিতে পরিণত হতে পারে।
মডেলের কর্মক্ষমতা আলো, জনসংখ্যা এবং পরিবেশ জুড়ে পরিবর্তিত হতে পারে।
আস্থার থ্রেশহোল্ডগুলি পর্যবেক্ষণ করা না হলে মিথ্যা ইতিবাচকগুলি অলক্ষিত হতে পারে।
বাস্তবায়ন রোডম্যাপ
নির্ভুলতা, প্রত্যাহার, এবং ত্রুটি খরচের জন্য গ্রহণযোগ্যতার মানদণ্ড নির্ধারণ করুন।
প্রকৃত উৎপাদন অবস্থার সাথে মেলে এমন ডেটা দিয়ে পরীক্ষা করুন।
কম-আস্থা বা উচ্চ-প্রভাব ভবিষ্যদ্বাণীর জন্য মানুষের পর্যালোচনা যোগ করুন।
মডেল ড্রিফ্ট ট্র্যাক করুন এবং ক্যামেরা বা ডেটাসেট পরিবর্তনের পরে পুনরায় যাচাই করুন।
অন্বেষণ চালিয়ে যান
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
পরবর্তী গাইড
বৈশিষ্ট্য পিরামিড নেটওয়ার্ক
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
What is Residual Networks?
অবশিষ্ট নেটওয়ার্কগুলি (ResNets) হল গভীর নিউরাল নেটওয়ার্ক যা 'কানেকশন এড়িয়ে যান' যোগ করে যাতে স্তরগুলিকে সম্পূর্ণ রূপান্তরের পরিবর্তে ছোট সমন্বয় শিখতে দেয়। এই সহজ কৌশলটি নেটওয়ার্ককে শত শত স্তরের গভীরে প্রশিক্ষণ দেওয়া সম্ভব করেছে, যা ইমেজ শনাক্তকরণের নির্ভুলতায় একটি লাফ দিয়েছে।
অবশিষ্ট সংযোগগুলি বিশেষভাবে কোন সমস্যাটি সমাধান করেছে?
ResNets এর আগে, আরও স্তর যোগ করার ফলে প্রশিক্ষণের ডেটাতেও সঠিকতা হ্রাস পায়। সংযোগগুলি এড়িয়ে যান স্তরগুলিকে অপ্টিমাইজ করা সহজ করে এটি ঠিক করে৷
একটি অবশিষ্ট ব্লক আসলে কি তার আউটপুট হিসাবে গণনা করে?
একটি অবশিষ্ট ব্লক আউটপুট y = F(x) + x, একটি স্কিপ সংযোগের মাধ্যমে ইনপুটে শেখা অবশিষ্টাংশ যোগ করে।
প্রশিক্ষণের সময় সংযোগগুলি কেন গ্রেডিয়েন্টগুলিকে এড়িয়ে যায়?
আইডেন্টিটি শর্টকাট গ্রেডিয়েন্টগুলিকে অপরিবর্তিতভাবে প্রবাহিত করার জন্য একটি সরাসরি পথ প্রদান করে, যা খুব গভীর স্ট্যাকের মধ্যে অদৃশ্য হয়ে যাওয়া-গ্রেডিয়েন্ট সমস্যাকে প্রতিরোধ করে।
মোটামুটিভাবে 2015 থেকে বিজয়ী ResNet মডেলের কতটি স্তর ছিল?
ResNet-152, 152টি স্তর সহ, 2015 ইমেজনেট প্রতিযোগিতা জিতেছে, এটি প্রদর্শন করে যে খুব গভীর নেটওয়ার্কগুলি এখন সফলভাবে প্রশিক্ষিত হতে পারে।
যদি একটি অবশিষ্ট ব্লকের স্তরগুলি F(x) = 0 শেখে, তাহলে ব্লকটি কী করে?
যখন F(x) = 0, আউটপুট শুধুমাত্র x হয়, তাই ব্লকটি একটি পরিচয় ম্যাপিং হয়ে যায়। এটি প্রয়োজন না হলে অতিরিক্ত স্তরগুলিকে ক্ষতিকারক করে তোলে।