СледваСледващо ръководство
Откриване на трансформатор DETR
Визуален AI
РЪКОВОДСТВО за визуален AI
Пространствени трансформаторни мрежи
Пространствените трансформаторни мрежи (STN) са обучаеми модули, които позволяват на невронната мрежа активно да деформира, завърта, изрязва или премащабира своя вход, за да се фокусира върху това, което има значение.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
They give CNNs a built-in sense of spatial attention and invariance.
Дълбоко гмуркане
Стандартните конволюционни мрежи са само слабо инвариантни към промените в позицията, мащаба и въртенето, като разчитат на обединяване за малък толеранс. Пространствени трансформаторни мрежи, въведени от Jaderberg et al. през 2015 г. поправете това, като вмъкнете диференцируем модул, който извършва изрична геометрична трансформация върху картите на характеристиките. Модулът има три части: мрежа за локализиране, която предвижда параметри на трансформация, генератор на мрежа, който изгражда мрежа за вземане на проби от тези параметри, и устройство за вземане на проби, което интерполира входа в точките на мрежата. Тъй като всяка стъпка е диференцируема, целият трансформатор се обучава от край до край чрез обратно разпространение без допълнително наблюдение. Мрежата се научава, например, да изправя наклонени цифри или да увеличава съответния регион, повишавайки точността и устойчивостта.
Внедряване в реалния свят
Изправяне и подравняване на извит или завъртян текст преди разпознаване в системи за OCR на сцена-текст
Увеличаване на дискриминиращи области (като клюн или крило на птица) за фино класифициране на изображението
Нормализиране на позата и подравняването на лицето като стъпка на предварителна обработка в тръбопроводите за разпознаване на лица
Коригиране на изкривявания и подравняване на сканирания при регистриране на медицински изображения
Бъдещето на пространствените трансформаторни мрежи
STN повлияха на начина, по който мрежите се справят с геометрията и вниманието, подавайки се в деформируеми навивки и модули с научено изкривяване. Докато трансформаторите на самовнимание сега доминират, диференцируемото вземане на проби в стил STN продължава да съществува при задачи, изискващи изрично геометрично подравняване: разпознаване на текст, фина класификация и нормализиране на пози. Очаквайте диференцируемото изкривяване да продължи да се появява в 3D визия, невронно изобразяване и регистрация на медицински изображения, често комбинирано с внимание, вместо да бъде заменено от него.
Прилагайки го на практика
Защо има значение
- Скорост и мащаб. Visual AI може да автоматизира задачи за проверка, откриване и маркиране в мащаб.
- Избор на билдове. Творческите екипи могат да създават прототипи на концепции по-бързо с по-малко ръчни ревизии.
- Екип и работен процес. Операциите могат да използват изображения и видео сигнали, които преди са били трудни за обработка.
Внимавайте за
- Правата върху изображението и съгласието могат да се превърнат в правни рискове, ако произходът е неясен.
- Производителността на модела може да варира в зависимост от осветлението, демографските данни и средата.
- Фалшивите положителни резултати могат да останат незабелязани, освен ако не се наблюдават праговете на достоверност.
Следващи стъпки
- Определете критерии за приемане за прецизност, извикване и разходи за грешки.
- Тествайте с данни, които съответстват на реалните производствени условия.
- Добавете преглед от човек за прогнози с ниска степен на сигурност или с голямо въздействие.
- Проследявайте дрейфа на модела и проверявайте отново след промени в камерата или набора от данни.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the Spatial Transformer Networks quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
What is Spatial Transformer Networks?
Пространствените трансформаторни мрежи (STN) са обучаеми модули, които позволяват на невронната мрежа активно да деформира, завърта, изрязва или премащабира своя вход, за да се фокусира върху това, което има значение. Те дават на CNN вградено усещане за пространствено внимание и неизменност.
Какви възможности добавя пространствената трансформаторна мрежа към невронна мрежа?
STN вмъкват обучаем модул, който може да превежда, завърта, мащабира или изкривява картите на характеристиките, за да се фокусира върху съответното съдържание.
Кои три компонента съставляват пространствен трансформаторен модул?
STN се състои от мрежа за локализиране (предсказва параметри), генератор на мрежа (изгражда координати за вземане на проби) и устройство за вземане на проби (интерполира входа).
Защо една пространствена трансформаторна мрежа може да бъде обучена с обикновено обратно разпространение?
Билинейната интерполация в семплера е диференцируема, така че градиентите се връщат през генератора на мрежата към мрежата за локализация, позволявайки обучение от край до край.
Какво обикновено извежда мрежата за локализация за афинна трансформация?
За афинни трансформации мрежата за локализация предвижда шест стойности, подредени като матрица 2x3, кодираща транслация, мащаб, ротация и срязване.
Защо стандартните CNN са слабо инвариантни към пространствените промени, мотивирайки STN?
CNN постигат само скромна пространствена инвариантност чрез обединяване; STN добавят ясен, обучаем начин за обработка на позиция, мащаб и ротация.
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема