Збільшення даних
Збільшення даних штучно розширює навчальний набір шляхом створення модифікованих копій існуючих прикладів, як-от гортання або обрізання зображень.
Огляд
It matters because more varied data reduces overfitting and helps models generalize to inputs they have not seen.
Глибоке занурення
Розширення даних створює нові навчальні приклади, застосовуючи перетворення зі збереженням міток до даних, які у вас уже є. Для зображень це означає обертання, перевертання, кадрування, зміну кольорів, розмиття та додавання шуму — зміни, які змінюють пікселі, але не правильну відповідь (перевернутий кіт залишається котом). Для тексту методи включають заміну синонімів, зворотний переклад (переклад на іншу мову та назад) і випадкове видалення або заміну слів. Для аудіо ви можете додати фоновий шум, зсув висоти або кліпи з розтягуванням у часі. Мета полягає в тому, щоб навчити модель незмінності, яка має значення — що ідентичність об’єкта не залежить від його положення, освітлення чи формулювання. Це робить моделі більш надійними та особливо цінним, коли позначені дані є дефіцитними, оскільки кожен реальний приклад фактично стає багатим. Сучасні конвеєри часто рандомізують доповнення на льоту протягом кожної епохи навчання.
Технічне розуміння
Доповнення працює, оскільки воно впроваджує попередні знання про інваріантність безпосередньо в навчання: показуючи моделі багато трансформованих версій одного прикладу, ви заохочуєте її вивчати функції, які ігнорують нерелевантні варіації. Важливо, що перетворення повинні зберігати мітку — перетворення «6» на «9» навчить неправильні речі. Розширені методи виходять за рамки простого редагування: Mixup змішує два зображення та їхні мітки, Cutout маскує області та навчені політики, такі як AutoAugment, шукають найкращі комбінації трансформації для певного набору даних.
Стратегічний вплив
Чіткіші рішення
Це допоможе вам відокремити чіткі технічні заяви від маркетингової мови.
Вартість і бюджет
Перш ніж витрачати гроші чи час, ви можете задати питання про кращу реалізацію.
Команда та робочий процес
Команди зі спільним розумінням приймають кращі рішення щодо продуктів, політики та навчання.
Майбутнє розширення даних
Межею є генеративне та навчене розширення: використання дифузійних моделей або GAN для синтезу абсолютно нових, реалістичних прикладів навчання, а не просто перетворення старих. Автоматичний пошук доповнень (AutoAugment, RandAugment) скорочує ручне налаштування, і доповнення тепер є центральним у самоконтрольованому навчанні, де моделі навчаються, визнаючи, що два доповнених перегляду одного вхідного даних мають збігатися. Очікуйте розширення, щоб продовжувати стирати межі з генерацією синтетичних даних, особливо для рідкісних класів і чутливих до конфіденційності доменів, де зібрати реальні дані важко.
Реалізація в реальному світі
Класифікатор зображень тренується на довільно повернутих, обрізаних і змінених кольорами фотографіях, щоб розпізнавати об’єкти незалежно від кута чи освітлення.
Команда НЛП використовує зворотний переклад (з англійської на німецьку та назад), щоб перефразувати речення та розширити невеликий набір даних для аналізу настроїв.
Модель мовлення додає фоновий шум кафе та змінює висоту звуку на записах, щоб залишатися точним у галасливих умовах реального світу.
Медичний штучний інтелект застосовує пружні деформації та перевертає обмежений набір МРТ-сканувань, щоб помножити дефіцитні позначені приклади без нових пацієнтів.
Ризики та огорожі
Різні команди можуть використовувати той самий термін по-різному, тому визначте обсяг завчасно.
Порівняльні показники можуть виглядати сильними, тоді як продуктивність у реальному світі нерівномірна.
Ігнорування якості даних і планів оцінки часто призводить до нестабільних результатів.
Дорожня карта впровадження
Почніть із простого визначення необхідного результату.
Перед тестуванням виберіть одну метрику успіху та одну умову невдачі.
Запустіть невеликий пілот із репрезентативними даними, а не відшліфованим демонстраційним набором.
Задокументуйте, де розширення даних допомагає, а де простіші методи кращі.
Продовжуйте досліджувати
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Augmentation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Наступний посібник
ШІ та дані
Часті запитання
What is Data Augmentation?
Збільшення даних штучно розширює навчальний набір шляхом створення модифікованих копій існуючих прикладів, як-от гортання або обрізання зображень. Це важливо, тому що більше різноманітних даних зменшує переобладнання та допомагає моделям узагальнювати вхідні дані, яких вони не бачили.
Яка основна мета розширення даних?
Доповнення створює різноманітні, модифіковані копії існуючих даних, щоб зменшити переобладнання та допомогти моделі обробляти невидимі вхідні дані.
Яка з них є поширеною технікою збільшення зображення?
Перевертання, обрізання, обертання та зміна кольору є стандартними функціями збільшення зображення, які змінюють пікселі, зберігаючи мітку.
Що робить зворотний переклад у доповненні тексту?
Зворотний переклад передає текст іншою мовою й назад, утворюючи переформуловану версію, яка зберігає значення.
Чому доповнення мають «зберігати мітки»?
Трансформація не повинна змінювати правильну відповідь — наприклад, перетворення «6» на «9» призведе до неправильної позначки прикладу.
Що робить техніка Mixup?
Mixup створює нові зразки шляхом лінійного поєднання пар вхідних даних та їхніх міток, заохочуючи більш плавні межі рішень.