ДалееСледующее руководство
Обучение во время тестирования
Основы
Техническое РУКОВОДСТВО
Увеличение времени тестирования
Расширение времени тестирования (TTA) запускает обученную модель на нескольких измененных версиях одних и тех же входных данных и усредняет прогнозы.
Прослушайте это руководствоОзвучено ИИ · ~2 min
На этой странице2 минуты чтения
Обзор
Это простой трюк, не требующий обучения, который часто позволяет получить несколько дополнительных очков точности и делает прогнозы более надежными.
Глубокое погружение
Расширение во время тестирования принимает один вход, создает несколько преобразованных копий (перевороты, обрезки, вращения, сдвиги цвета или масштабированные версии), запускает каждую из них через одну и ту же фиксированную модель, а затем объединяет выходные данные — обычно путем усреднения вероятностей или логитов. Интуиция: каждое дополнение представляет модель в несколько ином виде, а ошибки в отдельных представлениях имеют тенденцию исчезать при объединении в пул, как крошечный ансамбль, построенный из одной сети. Важно отметить, что ТТА не нуждается в переподготовке и дополнительных ярлыках; только при выводе требуется больше вычислений, поскольку модель выполняется N раз для каждой выборки. Он наиболее популярен в области компьютерного зрения (особенно соревнований Kaggle и медицинских изображений), но также появляется в аудио и тексте. Аугментации должны сохранять маркировку: переворачивать рентгенограмму грудной клетки можно, но переворачивать цифру «6» в «9» — нет.
Реальная реализация
Усреднение прогнозов по горизонтальным переворотам и множественным обрезкам изображения для повышения точности классификации ImageNet при выводе.
Инвертирование вращений/переворотов и усреднение масок при сегментации медицинских изображений (например, границ опухолей или органов) для более четких границ.
Конкуренты Kaggle применяют десятиурожайную или многомасштабную ТТА, чтобы получить долю процента в таблице лидеров без переподготовки.
Запуск классификаторов речи или аудио над клипами со слегка сдвинутыми по времени или с искажениями по высоте тона и объединением выходных данных для более стабильных меток.
Будущее увеличения времени тестирования
Исследования движутся к обученному и адаптивному TTA, где небольшая политика выбирает, какие дополнения помогают для каждого конкретного входного сигнала, вместо применения фиксированного набора. «Жадный» и дифференцируемый поиск по политике TTA, а также усреднение с учетом неопределенности, которое больше доверяет уверенным взглядам, являются активными областями. Ожидается, что TTA будет сочетаться с обучением во время тестирования и самоконтролируемой адаптацией, позволяя развернутым моделям оперативно адаптироваться к изменениям распределения, сохраняя при этом привлекательное свойство отсутствия переобучения.
Применение на практике
Почему это важно
- Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
- Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
- Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Следите за
- Оптимизация одного теста может скрыть более широкие недостатки системы.
- Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
- Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Следующие шаги
- Определите целевые показатели задержки, качества и стоимости перед внедрением.
- Тестирование при реалистичной нагрузке и условиях данных.
- Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
- Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Бесплатная рассылка
Получайте ежедневный AI-обзор
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Take the Test-Time Augmentation quiz
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Часто задаваемые вопросы
Что такое увеличение времени тестирования?
Расширение времени тестирования (TTA) запускает обученную модель на нескольких измененных версиях одних и тех же входных данных и усредняет прогнозы. Это простой трюк, не требующий обучения, который часто позволяет получить несколько дополнительных очков точности и делает прогнозы более надежными.
Что делает дополнение во время тестирования с одним входным сигналом во время вывода?
TTA передает несколько расширенных версий одного входного сигнала через одну и ту же обученную модель и агрегирует прогнозы без необходимости повторного обучения.
When can pooling predictions from transformed views reduce prediction variance?
The ensemble intuition depends on useful, label-preserving views whose errors are not perfectly correlated.
Какова основная стоимость использования ТТА?
Поскольку каждый входной сигнал проходит через сеть N раз, вывод становится примерно в N раз дороже.
Какой выбор дополнения может на самом деле ПОВРЕДИТЬ классификатору цифр?
Аугментации должны сохранять истинное название; переворачивание определенных цифр меняет их идентичность и вносит предвзятость.
Какой дополнительный шаг требуется при сегментации перед усреднением результатов TTA?
Геометрические дополнения перемещают пиксели, поэтому перед объединением каждая выходная маска должна быть преобразована обратно в исходную систему координат.
Продолжайте учиться
Связанные руководства
Другие руководства, выбранные по этой теме