Трансформери зору
Vision Transformers (ViTs) застосовують трансформаторну архітектуру, яка забезпечує ChatGPT до зображень, сприймаючи зображення як послідовність фрагментів замість сітки пікселів.
Огляд
They proved that you do not need convolutions to achieve state-of-the-art image recognition.
Глибоке занурення
Протягом багатьох років згорткові нейронні мережі (CNN) домінували в комп’ютерному зорі, скануючи невеликі фільтри по зображенню. Стаття 2020 року «Зображення варте 16x16 слів» від Google поставила під сумнів це, розрізавши зображення на фіксовані фрагменти, як правило, 16x16 пікселів, зводячи кожне у вектор і подаючи отриману послідовність у стандартний трансформатор. Кожен патч стає «токеном», схожим на слово в реченні. Потім модель використовує самоконтроль, щоб кожен патч міг безпосередньо пов’язуватися з кожним іншим патчем, фіксуючи довгострокові зв’язки, які малий згортковий фільтр не може побачити за один крок. Заковика: ViTs потребують даних, оскільки їм бракує вбудованих припущень CNN. Навчаючись на величезних наборах даних, таких як JFT-300M, вони зрівнялися або перевершили найкращі CNN, змінюючи сучасні дослідження зору.
Технічне розуміння
ViT розбиває зображення на фрагменти, які не перекриваються, лінійно проектує кожен у вбудовування та додає позиційне кодування, щоб модель знала, де кожна пляма розташована в оригінальному зображенні. Попереду додається спеціальний «токен класу», який можна вивчати; його остаточне представлення керує класифікацією. Складені шари самоуважності дозволяють кожному патчу зважувати інформацію від усіх інших, створюючи глобальне сприйнятливе поле з першого рівня. Оскільки увага збільшується квадратично з кількістю патчів, зображення з високою роздільною здатністю стають дорогими, тому розмір патча та ефективні варіанти уваги мають значення.
Стратегічний вплив
Швидкість і масштаб
Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
Створіть вибір
Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
Команда та робочий процес
Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Майбутнє трансформаторів зору
ViTs і гібриди CNN-трансформера тепер живлять провідні системи зору, а архітектура лежить в основі мультимодальних моделей, які поєднують зображення з текстом, як-от CLIP і сучасні помічники мови зору. Очікуйте продовження роботи над здешевленням уваги для високої роздільної здатності та відео, а також попереднє навчання під наглядом (наприклад, моделювання замаскованих зображень), що зменшує величезну потребу в мічених даних. У міру зростання обсягів обчислень межа між «мовною моделлю» та «моделлю бачення» продовжує стиратися, а трансформатори служать спільною основою для різних модальностей, а не окремими спеціалізованими конструкціями.
Реалізація в реальному світі
Системи класифікації зображень і рейтингу пошуку Google, які використовували трансформаторні магістралі після ViT, виявилися конкурентоспроможними з CNN
CLIP та інші моделі зображення та тексту, які використовують ViT для кодування зображень, щоб фотографії та підписи можна було порівнювати в спільному просторі
Дослідження медичних зображень за допомогою ViTs для виявлення візерунків на всьому скануванні, а не лише на локальних текстурах
Стеки сприйняття автономії та роботизованої техніки, які поєднують увагу в стилі ViT для розуміння сцени в повному полі зору
Ризики та огорожі
Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Дорожня карта впровадження
Визначте критерії прийнятності для точності, відкликання та вартості помилок.
Тестуйте з даними, які відповідають реальним умовам виробництва.
Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Vision Transformers quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
CLIP і моделі Vision-Language
Часті запитання
What is Vision Transformers?
Vision Transformers (ViTs) застосовують трансформаторну архітектуру, яка забезпечує ChatGPT до зображень, сприймаючи зображення як послідовність фрагментів замість сітки пікселів. Вони довели, що вам не потрібні згортки для досягнення найсучаснішого розпізнавання зображень.
Як Vision Transformer спочатку обробляє вхідне зображення?
ViT ділить зображення на фіксовані фрагменти (часто 16x16 пікселів), вбудовує кожен фрагмент як маркер і передає послідовність у трансформатор.
Який ключовий механізм дозволяє ViT пов’язувати віддалені частини зображення одна з одною?
Self-attention дозволяє кожному патчу безпосередньо зважувати інформацію з кожного іншого патча, надаючи глобальне уявлення з першого рівня.
Чому Plain Vision Transformers зазвичай потребує дуже великих навчальних наборів даних, щоб досягти успіху?
На відміну від CNN, ViT не припускають локальності чи інваріантності перекладу, тому вони повинні вивчати ці шаблони з великих обсягів даних.
Яке призначення позиційного кодування у Vision Transformer?
Самоувага не залежить від порядку, тому позиційне кодування відновлює просторове розташування кожного патча.
Яке твердження найкраще відображає вплив ViT на комп’ютерний зір?
ViT продемонстрував, що чистий трансформатор із достатньою кількістю даних і масштабом може конкурувати з найкращими згортковими мережами або перевершити їх.