Магистрални мрежи и пропускащи връзки
Прескачащите връзки позволяват на информацията да прескача през слоевете, а магистралните мрежи бяха ранна затворена версия на тази идея.
Преглед
They solve the problem of training very deep networks, which paved the way for ResNets and modern deep learning.
Дълбоко гмуркане
Преди прескачането на връзки, подреждането на много слоеве правеше мрежите по-трудни, а не по-добри за обучение, защото градиентите изчезнаха и сигналите се влошиха. Магистралните мрежи, въведени през 2015 г., добавиха научени портове, които контролират каква част от входа на даден слой се трансформира в сравнение с това, че се пренася направо, вдъхновени от стробирането на LSTM. Скоро след това ResNets опрости това в остатъчната връзка, където слой научава остатъчна функция и нейният изход се добавя към входа чрез пряк път за самоличност. Тези преки пътища създават директни пътища за градиенти, които да текат назад, което прави възможно обучението на мрежи на стотици или дори хиляди слоеве. Пропускащите връзки вече се появяват навсякъде, включително U-Nets, DenseNets и трансформатори.
Техническа информация
Остатъчен блок изчислява изход = F(x) + x, така че мрежата трябва да научи само остатъчното F(x), а не пълното картографиране. По време на обратното разпространение членът на адитивната идентичност преминава градиенти през непроменени, заобикалящи изчезващи градиенти. Магистралните мрежи обобщават това с трансформираща врата T и порта за пренасяне, изход = F(x)*T(x) + x*(1 - T(x)), където T се научава и варира между 0 и 1.
Стратегическо въздействие
Cost and budget
Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
Clearer decisions
Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
Quality control
По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Бъдещето на магистралните мрежи и прескачащите връзки
Пропускащите връзки вече са градивен елемент по подразбиране, а не незадължителен трик. Всеки трансформатор използва остатъчни връзки около своите подслоеве за внимание и предаване и те остават съществени в дифузионните модели, U-мрежите за сегментиране и графичните мрежи. Изследванията изследват по-добро разположение за нормализиране, обучимо мащабиране на остатъчни пътища и обратими архитектури, които преизчисляват активациите, за да пестят памет. Основната идея за запазване на сигнала в дълбочина ще се запази с нарастването на моделите.
Внедряване в реалния свят
ResNet-50 и ResNet-152 използват остатъчни преки пътища за обучение на изключително дълбоки класификатори на изображения
Трансформаторите и големите езикови модели обгръщат остатъчните връзки около слоевете за внимание и предаване напред
U-Net прескачащите връзки предават фини пространствени детайли от енкодер към декодер за прецизно сегментиране на медицинско изображение
DenseNet свързва всеки слой с всички следващи слоеве, насърчавайки повторното използване на функции и улеснявайки градиентния поток
Рискове и предпазни огради
Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
Разходите за инфраструктура и поддръжка често се подценяват.
Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Пътна карта за изпълнение
Определете целите за латентност, качество и разходи преди внедряването.
Бенчмарк при реалистични условия на натоварване и данни.
Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Highway Networks and Skip Connections quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Сиамски мрежи и триплетна загуба
Frequently asked questions
What is Highway Networks and Skip Connections?
Прескачащите връзки позволяват на информацията да прескача през слоевете, а магистралните мрежи бяха ранна затворена версия на тази идея. Те решават проблема с обучението на много дълбоки мрежи, което проправи пътя за ResNets и модерното дълбоко обучение.
Какъв основен проблем помага да се реши прескачането на връзки в много дълбоки мрежи?
Чрез осигуряване на директни пътища прескачащите връзки позволяват градиентите и сигналите да преминават през дълбоки стекове, което прави много дълбоки мрежи обучаеми.
Какво изчислява основен остатъчен блок?
Остатъчен блок добавя входа x към трансформирания изход F(x), така че слоят научава само остатъка.
Какво вдъхнови механизма за затваряне в магистралните мрежи?
Магистралните мрежи са заимствали идеята за научени врати от LSTM, за да контролират колко информация се трансформира в сравнение с пренесената.
В една магистрална мрежа, какво управлява преобразувателният портал T(x)?
Изходът е F(x)*T(x) + x*(1 - T(x)), така че T решава баланса между трансформиране и пренасяне на входа.
Коя съвременна архитектура разчита на остатъчни връзки около своите подслоеве?
Трансформаторите поставят остатъчни връзки около своите подслоеве за внимание и предаване като стандартен дизайн.