ДаліНаступний посібник
Розмовне редагування зображень за допомогою мультимодальних моделей
Візуальний ШІ
Візуальний AI GUIDE
Мультимодальний пошук
Мультимодальний пошук отримує інформацію в таких формах, як текст, зображення, аудіо та відео.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
Текстовий запит може отримати зображення, або зображення може знайти пов’язані документи. Модальності мають бути представлені сумісними способами, і подібність все ще потребує оцінки щодо завдання користувача.
Ключові висновки
- Визначте необхідні докази за модальністю.
- Використовуйте сумісні представлення.
- Зберігайте походження та дозволи для похідних активів.
Глибоке занурення
Виберіть значення кожного запиту та результату. Пошук візуально схожого продукту відрізняється від пошуку відео, яке містить промовлену фразу. Модель, навчена вирівнювати підписи та зображення, може не підтримувати кожне звукове чи тимчасове завдання. Зберігайте метадані та оригінальні ресурси. Джерело, діапазон часу, дозволи та описовий текст можуть допомогти у рейтингу та перевірці. Лише вбудовування може втратити точні ідентифікатори, заперечення або деталі, важливі для запиту. Комбінуйте сигнали, де це необхідно. Зіставлення ключових слів може підтримувати точні імена, тоді як вивчені представлення підтримують семантичні чи візуальні зв’язки. Оцінюйте злиття та ранжування на реалістичних прикладах замість того, щоб припускати, що додавання модальностей завжди підвищує релевантність. Перевірте складні відмінності: схожі на вигляд, але різні об’єкти, зображення з важливим текстом, відео, зовнішній вигляд яких збігається, але аудіо – ні, і запити щодо відсутності чи просторових зв’язків. Зберігайте узгоджені елементи керування доступом до похідних вставок, ескізів, розшифровок і оригінальних файлів.
04Спрацьований приклад
Перевірте, яка модальність підтримує запит
Використовуйте придуманий запит «собака гавкає» проти колекції відео.
Візуальний збіг може повернути беззвучний кліп із собакою. Перевірте, чи потрібен для завдання звук, видима дія чи щось інше.
Оцініть результати, використовуючи необхідні докази, замість того, щоб приймати пов’язані зображення в широкому сенсі.
Що це показує
Побудований приклад відокремлює тематичну подібність від задоволення мультимодального запиту.
Реалізація в реальному світі
Знайдіть авторизоване зображення продукту за допомогою описового текстового запиту.
Здійснюйте пошук у колекції відео, використовуючи як текст стенограми, так і візуальні докази.
Застосування на практиці
Чому це важливо
- Швидкість і масштаб. Візуальний штучний інтелект може автоматизувати масштабні завдання перевірки, виявлення та позначення тегами.
- Створіть вибір. Творчі групи можуть створювати прототипи концепцій швидше з меншою кількістю переглядів вручну.
- Команда та робочий процес. Операції можуть використовувати зображення та відеосигнали, які раніше було важко обробити.
Зверніть увагу на
- Права на зображення та згода можуть стати юридичними ризиками, якщо походження невідоме.
- Продуктивність моделі може відрізнятися залежно від освітлення, демографічних показників і середовища.
- Помилкові спрацьовування можуть залишитися непоміченими, якщо не відстежувати пороги довіри.
Наступні кроки
- Визначте критерії прийнятності для точності, відкликання та вартості помилок.
- Тестуйте з даними, які відповідають реальним умовам виробництва.
- Додайте перевірку людиною для прогнозів із низьким рівнем достовірності або високого впливу.
- Відстежуйте дрейф моделі та повторно перевіряйте після зміни камери або набору даних.
Джерела та подальше читання
- Radford and colleaguesВивчення переносних візуальних моделей із нагляду за природною мовою
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Multimodal Search quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
Чи можна прямо порівняти будь-які вбудовані зображення та текст?
Небезпечно за припущенням. Їм потрібні сумісні представлення або відповідний крос-модальний метод вирівнювання.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми