Пространствени трансформаторни мрежи
Пространствените трансформаторни мрежи (STN) са обучаеми модули, които позволяват на невронната мрежа активно да деформира, завърта, изрязва или премащабира своя вход, за да се фокусира върху това, което има значение.
Преглед
They give CNNs a built-in sense of spatial attention and invariance.
Дълбоко гмуркане
Стандартните конволюционни мрежи са само слабо инвариантни към промените в позицията, мащаба и въртенето, като разчитат на обединяване за малък толеранс. Пространствени трансформаторни мрежи, въведени от Jaderberg et al. през 2015 г. поправете това, като вмъкнете диференцируем модул, който извършва изрична геометрична трансформация върху картите на характеристиките. Модулът има три части: мрежа за локализиране, която предвижда параметри на трансформация, генератор на мрежа, който изгражда мрежа за вземане на проби от тези параметри, и устройство за вземане на проби, което интерполира входа в точките на мрежата. Тъй като всяка стъпка е диференцируема, целият трансформатор се обучава от край до край чрез обратно разпространение без допълнително наблюдение. Мрежата се научава, например, да изправя наклонени цифри или да увеличава съответния регион, повишавайки точността и устойчивостта.
Техническа информация
Локализационната мрежа извежда параметри (често 2x3 афинна матрица) за транслация, мащаб, ротация и срязване. Генераторът на мрежа картографира всеки изходен пиксел обратно към координата на източника чрез тази матрица. След това семплерът чете входа, използвайки билинейна интерполация, която е диференцируема, така че градиентите протичат към мрежата за локализация. Това позволява на модула да научи трансформации само от загубата на задача, като се грижи за и канонизира съответните региони.
Стратегическо въздействие
Speed and scale
Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
Build choices
Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
Team and workflow
Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Бъдещето на пространствените трансформаторни мрежи
STN повлияха на начина, по който мрежите се справят с геометрията и вниманието, подавайки се в деформируеми навивки и модули с научено изкривяване. Докато трансформаторите на самовнимание сега доминират, диференцируемото вземане на проби в стил STN продължава да съществува при задачи, изискващи изрично геометрично подравняване: разпознаване на текст, фина класификация и нормализиране на пози. Очаквайте диференцируемото изкривяване да продължи да се появява в 3D визия, невронно изобразяване и регистрация на медицински изображения, често комбинирано с внимание, вместо да бъде заменено от него.
Внедряване в реалния свят
Изправяне и подравняване на извит или завъртян текст преди разпознаване в системи за OCR на сцена-текст
Увеличаване на дискриминиращи области (като клюн или крило на птица) за фино класифициране на изображението
Нормализиране на позата и подравняването на лицето като стъпка на предварителна обработка в тръбопроводите за разпознаване на лица
Коригиране на изкривявания и подравняване на сканирания при регистриране на медицински изображения
Рискове и предпазни огради
Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Пътна карта за изпълнение
Определете критерии за приемане за прецизност, извикване и разходи за грешки.
Тествайте с данни, които съответстват на реалните производствени условия.
Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Spatial Transformer Networks quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Next guide
Откриване на трансформатор DETR
Frequently asked questions
What is Spatial Transformer Networks?
Пространствените трансформаторни мрежи (STN) са обучаеми модули, които позволяват на невронната мрежа активно да деформира, завърта, изрязва или премащабира своя вход, за да се фокусира върху това, което има значение. Те дават на CNN вградено усещане за пространствено внимание и неизменност.
Какви възможности добавя пространствената трансформаторна мрежа към невронна мрежа?
STN вмъкват обучаем модул, който може да превежда, завърта, мащабира или изкривява картите на характеристиките, за да се фокусира върху съответното съдържание.
Кои три компонента съставляват пространствен трансформаторен модул?
STN се състои от мрежа за локализиране (предсказва параметри), генератор на мрежа (изгражда координати за вземане на проби) и устройство за вземане на проби (интерполира входа).
Защо една пространствена трансформаторна мрежа може да бъде обучена с обикновено обратно разпространение?
Билинейната интерполация в семплера е диференцируема, така че градиентите се връщат през генератора на мрежата към мрежата за локализация, позволявайки обучение от край до край.
Какво обикновено извежда мрежата за локализация за афинна трансформация?
За афинни трансформации мрежата за локализация предвижда шест стойности, подредени като матрица 2x3, кодираща транслация, мащаб, ротация и срязване.
Защо стандартните CNN са слабо инвариантни към пространствените промени, мотивирайки STN?
CNN постигат само скромна пространствена инвариантност чрез обединяване; STN добавят ясен, обучаем начин за обработка на позиция, мащаб и ротация.