ДалееСледующее руководство
Уменьшение размерности
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Проклятие размерности описывает, как данные и вычисления могут стать трудными по мере роста числа измерений, особенно для локальных методов, которые полагаются на близлежащие наблюдения.
Прослушайте это руководствоОзвучено ИИ · ~3 min
В многомерных пространствах данные могут стать разреженными, а расстояния менее различимыми, поэтому может потребоваться больше выборок или более сильная структура. Эффект зависит от метода и данных, и это не правило, согласно которому каждая многомерная модель дает сбой.
Фраза «проклятие размерности» относится к проблемам, которые возникают по мере роста числа функций. Фиксированное количество наблюдений охватывает меньшую часть многомерного пространства, что делает локальные примеры редкими. Методы, основанные на расстоянии, могут потерять контраст, поскольку ближайшие и самые дальние точки могут стать более похожими по расстоянию. Поэтому оценка плотности или поиск значимого соседа может потребовать больше данных и вычислений. Эти эффекты особенно важны для методов локального ядра, поиска ближайших соседей и непараметрической оценки плотности. Эта фраза не является доказательством того, что каждый многомерный метод работает плохо. Производительность зависит от распределения данных, соответствующей структуры, размера выборки, шума, масштабирования функций и алгоритма. Некоторые задачи имеют низкоразмерную структуру, встроенную во множество измерений; другие включают множество нерелевантных или избыточных переменных. Хар-Пелед, Индик и Мотвани обсуждают приблизительные алгоритмы поиска ближайших соседей, предназначенные для повышения эффективности поиска в больших размерностях, отмечая при этом роль аппроксимации. Microsoft Исследование анализирует, как локальные методы ядра могут потребовать больше примеров, когда целевые функции не представлены компактно в локальном базисе. Меры по смягчению последствий включают удаление ненужных функций, регуляризацию, уменьшение размерности, представления с учетом предметной области и приблизительный поиск. Каждый из них сопряжен с компромиссами: выбор признаков может отбросить полезный сигнал, прогнозы могут снизить интерпретируемость, а аппроксимация может изменить соседей. Подгоните предварительную обработку только к обучающим данным, чтобы избежать утечки, сравните их с более простым базовым уровнем и протестируйте на репрезентативных устаревших данных. Сокращение, которое улучшает валидацию на одном образце, может оказаться неудачным при сдвиге распределения. Практический вопрос заключается в том, можно ли оценить полезную структуру на основе имеющихся данных и схемы оценки.
Классификатор ближайших соседей хорошо работает с несколькими значимыми функциями, но ухудшается после добавления сотен нерелевантных переменных.
Оценщику плотности требуется больше наблюдений для охвата многомерного пространства признаков, чем для низкоразмерной проекции.
Команда применяет выбор признаков, используя только обучающие данные, а затем оценивает, лучше ли обобщается более простая модель.
Исследователь сравнивает евклидовы расстояния и расстояния, специфичные для предметной области, когда расстояния до ближайших соседей плотно группируются в крупномерном вложении.
Многомерные системы останутся распространенными в тексте, изображениях и данных датчиков, а обучение представлению может помочь выявить структуру. Но изученные вложения не устраняют проблемы с размером выборки, шумом или качеством расстояния. Сокращение признаков и приблизительный поиск могут помочь в конкретных задачах благодаря интерпретируемости и компромиссу с потерей информации. Команды должны проверять предположения о распределении развертывания, а не рассматривать уменьшение размерности как универсальное лекарство. Сообщайте о предварительной обработке, выборе представления, размере выборки относительно функций и поведении вне распределения, чтобы читатели могли оценить, передается ли смягчение последствий.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Проклятие размерности описывает, как данные и вычисления могут стать трудными по мере роста числа измерений, особенно для локальных методов, которые полагаются на близлежащие наблюдения. В многомерных пространствах данные могут стать разреженными, а расстояния менее различимыми, поэтому может потребоваться больше выборок или более сильная структура. Эффект зависит от метода и данных, но это не правило, согласно которому каждая многомерная модель дает сбой.
Эта фраза охватывает множество трудностей, связанных с измерениями, особенно для локальных методов.
То же количество точек покрывает меньшую часть пространства большей размерности.
Контраст расстояний может снижаться в некоторых многомерных настройках.
Эти методы могут уменьшить шум или сложность, но их необходимо оценить.
Приблизительное вычисление целей поиска, точность прогнозирования не гарантируется.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Уменьшение размерности
Основы