ДаліНаступний посібник
Виявлення трансформатора DETR
Візуальний ШІ
Візуальний AI GUIDE
Просторові трансформаторні мережі
Мережі просторових трансформаторів (STN) — це навчальні модулі, які дозволяють нейронній мережі активно деформувати, обертати, обрізати або масштабувати свої вхідні дані, щоб зосередитися на важливому.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
They give CNNs a built-in sense of spatial attention and invariance.
Глибоке занурення
Стандартні згорткові мережі лише слабко інваріантні до змін позиції, масштабу та обертання, покладаючись на об’єднання для невеликого допуску. Мережі просторових трансформаторів, представлені Джадербергом та ін. у 2015 році виправте це, вставивши диференційований модуль, який виконує явне геометричне перетворення на картах об’єктів. Модуль має три частини: мережа локалізації, яка передбачає параметри перетворення, генератор сітки, який створює сітку вибірки з цих параметрів, і семплер, який інтерполює вхідні дані в точках сітки. Оскільки кожен крок диференційований, весь трансформатор тренується наскрізно шляхом зворотного поширення без додаткового нагляду. Мережа вчиться, наприклад, вирівнювати нахилені цифри або збільшувати відповідну область, підвищуючи точність і надійність.
Реалізація в реальному світі
Вирівнювання та вирівнювання вигнутого або повернутого тексту перед розпізнаванням у системах оптичного розпізнавання тексту сцени
Збільшення дискримінаційних областей (наприклад, дзьоба або крила птаха) для дрібної класифікації зображень
Нормалізація пози обличчя та вирівнювання як етап попередньої обробки в конвеєрах розпізнавання обличчя
Виправлення спотворень і вирівнювання сканів при реєстрації медичних зображень
Майбутнє просторових трансформаторних мереж
STN вплинули на те, як мережі обробляють геометрію та увагу, надаючи деформівні звивини та модулі навченого викривлення. У той час як трансформатори самоуважності зараз домінують, диференційована вибірка у стилі STN зберігається в завданнях, які потребують явного геометричного вирівнювання: розпізнавання тексту, дрібна класифікація та нормалізація пози. Очікуйте, що диференційоване викривлення продовжуватиме з’являтися в 3D-зображенні, нейронній візуалізації та реєстрації медичних зображень, часто поєднуючись із увагою, а не заміняючись нею.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Spatial Transformer Networks quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Spatial Transformer Networks?
Мережі просторових трансформаторів (STN) — це навчальні модулі, які дозволяють нейронній мережі активно деформувати, обертати, обрізати або масштабувати свої вхідні дані, щоб зосередитися на важливому. Вони дають CNN вбудоване відчуття просторової уваги та незмінності.
Які можливості мережа просторових трансформаторів додає до нейронної мережі?
STN вставляють навчальний модуль, який може перекладати, обертати, масштабувати або деформувати карти функцій, щоб зосередитися на відповідному вмісті.
З яких трьох компонентів складається просторовий трансформаторний модуль?
STN складається з мережі локалізації (прогнозує параметри), генератора сітки (будує координати вибірки) і семплера (інтерполює вхідні дані).
Чому просторову трансформаторну мережу можна навчити за допомогою звичайного зворотного поширення?
Білінійна інтерполяція в семплері диференційована, тому градієнти повертаються через генератор сітки до мережі локалізації, що забезпечує наскрізне навчання.
Що зазвичай виводить мережа локалізації для афінного перетворення?
Для афінних перетворень мережа локалізації передбачає шість значень, упорядкованих у вигляді матриці 2x3, що кодує трансляцію, масштаб, обертання та зсув.
Чому стандартні CNN лише слабко інваріантні до просторових змін, мотивуючи STN?
CNN досягають лише помірної просторової інваріантності через об’єднання; STN додають явний спосіб керування положенням, масштабом і обертанням, який можна навчитися.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми