Остатъчни мрежи
Остатъчните мрежи (ResNets) са дълбоки невронни мрежи, които добавят „пропускащи връзки“, позволявайки на слоевете да научат малки корекции вместо пълни трансформации.
Преглед
This simple trick made it possible to train networks hundreds of layers deep, sparking a leap in image recognition accuracy.
Дълбоко гмуркане
Преди ResNets, подреждането на много слоеве парадоксално правеше мрежите да се представят по-лошо, дори при тренировъчни данни, проблем, наречен влошаване. През 2015 г. изследователите на Microsoft Kaiming He и колегите му въведоха остатъчния блок: вместо да поискат стек от слоеве да произведе изход H(x) директно, те го оставиха да научи остатък F(x) = H(x) - x, след което добавиха оригиналния вход x обратно чрез пряк път. Ако даден слой е ненужен, той може просто да се научи да не прави нищо (F(x) = 0). ResNet-152 спечели състезанието ImageNet за 2015 г. с топ 5 грешка от около 3,6 процента, надминавайки оценките на човешко ниво, а архитектурата му се превърна в основополагащ гръбнак за откриване, сегментиране и медицинско изобразяване.
Техническа информация
Връзката за прескачане превръща работата на всеки блок в y = F(x) + x. По време на обратното разпространение градиентът преминава през прекия път за идентичност непроменен, така че не може да изчезне почти до нула дори в стотици слоеве. Това поддържа дълбоките стакове годни за обучение. Преките пътища за самоличност не добавят допълнителни параметри; само когато входните и изходните размери се различават, малка проекция (конволюция 1x1) коригира размерите преди добавянето.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на остатъчните мрежи
Остатъчните връзки вече са почти универсални: трансформаторите, дифузионните модели и големите езикови модели ги използват за стабилизиране на обучението на много дълбоки стекове. Продължават изследванията на варианти като ResNets преди активиране, групираните пътища на ResNeXt и комбиниране на остатъчни идеи с обучение без нормализиране. Очаквайте основният принцип на прескачане на връзката да се запази като градивен елемент по подразбиране, дори когато заобикалящите архитектури се отклонят от чистите извивки към вниманието и хибридните дизайни.
Внедряване в реалния свят
Класификационни опори на ImageNet (ResNet-50, ResNet-101), използвани като предварително обучени екстрактори на функции за трансферно обучение
Откриване на тумори и лезии в рентгенови и патологични изображения с помощта на базирани на ResNet енкодери
Рамки за откриване на обекти и сегментиране на екземпляри като Faster R-CNN и Mask R-CNN, които използват ResNet backbone
Тръбопроводи за възприемане на самостоятелно управление, които класифицират пешеходци, превозни средства и знаци от рамки на камера
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Residual Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Представете пирамидални мрежи
Frequently asked questions
What is Residual Networks?
Остатъчните мрежи (ResNets) са дълбоки невронни мрежи, които добавят „пропускащи връзки“, позволявайки на слоевете да научат малки корекции вместо пълни трансформации. Този прост трик направи възможно обучението на мрежи на стотици слоеве в дълбочина, предизвиквайки скок в точността на разпознаване на изображения.
Какъв проблем решиха конкретно остатъчните връзки?
Преди ResNets добавянето на повече слоеве причиняваше влошаване на точността дори при данни за обучение. Пропускането на връзки поправи това, като направи слоевете лесни за оптимизиране.
Какво всъщност изчислява един остатъчен блок като свой изход?
Остатъчен блок извежда y = F(x) + x, добавяйки научения остатък към входа чрез връзка за прескачане.
Защо прескачащите връзки помагат на градиентите по време на тренировка?
Прекият път за самоличност осигурява директен път за градиентите да текат назад непроменени, предотвратявайки проблема с изчезващия градиент в много дълбоки стекове.
Приблизително колко слоя имаше печелившият модел ResNet от 2015 г.?
ResNet-152, със 152 слоя, спечели конкурса ImageNet за 2015 г., демонстрирайки, че много дълбоки мрежи вече могат да бъдат обучени успешно.
Ако слоевете на остатъчен блок научат F(x) = 0, какво прави блокът?
Когато F(x) = 0, изходът е само x, така че блокът се превръща в картографиране на идентичност. Това прави допълнителните слоеве безвредни, ако не са необходими.