ДаліНаступний посібник
Перекіс обслуговування функцій онлайн і офлайн
технічний
Технічний КЕРІВНИЦТВО
Онлайн і жорсткий негативний майнінг
Жорсткий негативний видобуток вибирає найбільш інформативні приклади, які важко розрізнити, щоб тренуватися, замість того, щоб витрачати зусилля на прості, які модель вже має правильно.
Послухайте цей посібникШІ-розказаний · ~2 min
На цій сторінці2 хвилини читання
Огляд
It is the trick that makes metric learning and object detection converge fast and accurately.
Глибоке занурення
Під час навчання з триплетними або контрастними втратами більшість негативів із довільною дискретизацією вже далеко від прив’язки, тому вони дають нульові втрати та відсутність градієнта, навчання зупиняється. Негативний майнінг виправляє це, вибираючи жорсткі негативи: приклади, які неправильно розташовані біля прив’язки. Під час офлайн-майнінгу ви періодично скануєте набір даних, щоб знайти їх, що працює повільно та застаріває. Онлайн-майнінг обчислює їх на ходу в кожній міні-пакеті: після проходу вперед ви переглядаєте всі попарні відстані в пакеті та вибираєте найсильніших порушників. FaceNet запровадив напівтвердий майнінг, вибираючи негативи далі, ніж позитивні, але все ще в межах маржі, уникаючи нестабільності, яку можуть спричинити найважчі негативи на початку навчання.
Реалізація в реальному світі
Навчання розпізнаванню облич: FaceNet використовує напівтвердий онлайн-майнінг, щоб вивчати вбудовування, які розділяють схожих осіб.
Виявлення об’єктів: SSD та подібні детектори застосовують жорсткий негативний видобуток, щоб збалансувати потік легких фонових коробок проти рідкісних коробок об’єктів.
Щільний пошук уривків: системи пошуку та RAG виявляють жорсткі негативні документи, які виглядають релевантними, але не є такими, покращуючи пошук.
Системи рекомендацій: моделі предметів, які користувач не клацав, але які нагадують клацані предмети, навчаючи більш тонким відмінностям у смаку.
Майбутнє онлайн і жорсткого негативного майнінгу
Принцип «тренуватися на тому, що важко» тепер керує контрастним самоконтрольованим навчанням, де великі пакетні негативні пули (і банки пам’яті, як-от MoCo) забезпечують складні порівняння без міток. Дослідники уточнюють, наскільки жорстким повинен бути негатив, оскільки занадто жорсткі негативи часто виявляються неправильно позначеними або майже дубльованими позитивними, що псує навчання. Очікуйте розумнішого майнінгу з урахуванням невизначеності та синтетичних жорстких негативів, створених самою моделлю, а також більш тісної інтеграції з пошуковими системами, які виявляють жорсткі негативи із запитів реальних користувачів.
Застосування на практиці
Чому це важливо
- Вартість і бюджет. Архітектурні рішення збільшують продуктивність і експлуатаційні витрати протягом багатьох років.
- Чіткіші рішення. Технічна освіта допомагає командам вибрати правильний стек, а не лише найновіший.
- Контроль якості. Кращий інженерний вибір зменшує проблеми з надійністю у виробництві.
Зверніть увагу на
- Оптимізація одного тесту може приховати ширші слабкі сторони системи.
- Витрати на інфраструктуру та обслуговування часто недооцінюються.
- Прогалини в безпеці та спостережуваності можуть зростати в міру ускладнення систем.
Наступні кроки
- Визначте цільові показники затримки, якості та вартості перед впровадженням.
- Тест за реалістичних умов навантаження та даних.
- Моніторинг інструментів на наявність помилок, дрейфу та впливу користувача.
- Перед масштабуванням підготуйте шляхи відкату та реагування на інциденти.
Продовжуйте досліджувати
Безплатний розсилок
Отримуйте щоденне зведення новин про ШІ
Три перевірені історії про ШІ щоробочого ранку, написані простою мовою. Безплатно назавжди, без реклами.
Один лист щотижня з понеділка по п'ятницю. Відписатися в один клік. Ми ніколи не продаємо та не передаємо вашу адресу.
Перевір себе
Take the Online and Hard Negative Mining quiz
Миттєва зворотна связь на кожну відповідь та сертифікат із перевіреним ідентифікатором, яким можна поділитися, після проходження курсу.
Підтримайте безплатну освіту у сфері ШІ. AI Understanding — це некомерційна організація 501(c)(3) — без реклами, без платних стін, назавжди. Зробіть пожертву
Часті запитання
What is Online and Hard Negative Mining?
Жорсткий негативний видобуток вибирає найбільш інформативні приклади, які важко розрізнити, щоб тренуватися, замість того, щоб витрачати зусилля на прості, які модель вже має правильно. Це трюк, завдяки якому вивчення показників і виявлення об’єктів збігаються швидко й точно.
Чому більшість випадково відібраних негативів дають слабкий тренувальний сигнал у втраті триплетів?
Легкі негативи сидять далеко за межею, уже задовольняють втрати та не вносять, по суті, жодного градієнта, тому навчання зупиняється.
Що відрізняє онлайн-майнінг від офлайн-майнінгу?
Онлайн-майнінг обчислює попарно відстані всередині поточного пакету на кожному кроці, тоді як офлайн-майнінг періодично сканує весь набір даних і може застаріти.
Що таке «напівтвердий» негатив за визначенням у FaceNet?
Напівжорсткі негативи розташовані далі від точки прив’язки, ніж позитиви, але залишаються всередині поля, створюючи корисні, стабільні градієнти без нестабільності, характерної для найважчих випадків.
Який мінус вибирається для кожного прив’язки під час жорсткого пакетного майнінгу?
Пакетний жорсткий майнінг вибирає найскладніші випадки: для кожного прив’язки він бере найдальший позитивний і найближчий (найбільш заплутаний) негативний у пакеті.
Чому більший розмір партії покращує результати вивчення метрик?
Більша партія дає більшу матрицю попарних відстаней, тому є більше кандидатів-негативів, які найважче видобувати на кожному кроці.
Продовжуйте вчитися
Пов'язані посібники
Інші посібники, вибрані для цієї теми