Уменьшение размерности
Уменьшение размерности сокращает данные из многих столбцов (функций) до нескольких, сохраняя при этом важную структуру.
Обзор
It fights the 'curse of dimensionality,' speeds up models, and lets you actually visualize complex data in 2D or 3D.
Глубокое погружение
Реальные наборы данных часто содержат сотни или тысячи функций: каждый пиксель изображения, каждое слово в словаре, каждый датчик на машине. В таких многомерных пространствах точки данных становятся разреженными и расположены далеко друг от друга, измерения расстояний становятся ненадежными, а модели имеют тенденцию переоценивать шум. Это проклятие размерности. Снижение размерности отображает данные в гораздо меньшем количестве измерений, сохраняя при этом значимые связи. PCA делает это линейно, находя направления наибольшего отклонения. t-SNE и UMAP являются нелинейными и превосходно выявляют кластеры для визуализации. Уменьшение размеров удаляет избыточные или зашумленные функции, сокращает объем памяти и вычислений и часто повышает точность последующей модели, поскольку меньше нерелевантных сигналов, которые могут ее сбить с толку.
Техническая информация
PCA работает путем вычисления ковариации признаков и поиска собственных векторов, «главных компонентов», которые указывают в направлениях максимальной дисперсии. Вы сохраняете несколько верхних компонентов и проецируете на них данные, отбрасывая направления с малой дисперсией, которые в основном представляют собой шум. Вместо этого t-SNE и UMAP моделируют отношения соседей: они пытаются сохранить точки, которые были близки в больших измерениях, близко к низкоразмерной карте. UMAP строит граф близлежащих точек, что делает его быстрее, чем t-SNE, и лучше сохраняет более широкую глобальную структуру.
Стратегическое воздействие
Более четкие решения
Это поможет вам отделить четкие технические заявления от маркетингового языка.
Стоимость и бюджет
Вы можете задать более эффективные вопросы по реализации, прежде чем тратить деньги или время.
Команда и рабочий процесс
Команды с общим пониманием принимают более эффективные решения по продуктам, политике и обучению.
Будущее уменьшения размерности
Уменьшение размерности теперь является обычным шагом в более крупных конвейерах ИИ, а не отдельной задачей. UMAP во многом стал стандартом для изучения вложений из больших языковых и зрительных моделей, когда инженеры проецируют тысячи измерений на 2D-карту, чтобы проверить, чему научилась модель. Ожидайте более тесной интеграции с интерактивными панелями мониторинга, более быстрой реализации с графическим ускорением наборов данных из миллиардов строк и растущего использования в работе по интерпретации, когда исследователи сокращают внутренние активации модели, чтобы понять и отладить ее поведение.
Реальная реализация
Построение вложений слов или предложений из языковой модели в 2D с помощью UMAP, чтобы увидеть, какие понятия модель группирует вместе.
Сжатие тысяч измерений экспрессии генов на одного пациента в несколько компонентов перед кластеризацией подтипов заболеваний
Уменьшение характеристик изображения перед подачей их в классификатор, чтобы обучение происходило быстрее и было менее подвержено переобучению.
Визуализация поведения клиентов по сотням показателей в виде двухмерной диаграммы рассеяния для выявления отдельных сегментов рынка.
Риски и ограничения
Разные команды могут использовать один и тот же термин по-разному, поэтому заранее определите масштаб.
Тесты могут выглядеть сильными, в то время как реальная производительность неравномерна.
Игнорирование качества данных и планов оценки часто приводит к нестабильным результатам.
Дорожная карта реализации
Начните с простого определения желаемого результата.
Перед тестированием выберите один показатель успеха и одно условие отказа.
Запустите небольшой пилотный проект с репрезентативными данными, а не отточенный демонстрационный набор.
Документируйте, где помогает уменьшение размерности и где более простые методы лучше.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dimensionality Reduction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Близнецы Барлоу и сокращение избыточности
Часто задаваемые вопросы
What is Dimensionality Reduction?
Уменьшение размерности сокращает данные из многих столбцов (функций) до нескольких, сохраняя при этом важную структуру. Он борется с «проклятием размерности», ускоряет модели и позволяет визуализировать сложные данные в 2D или 3D.
Что такое «проклятие размерности»?
В очень многомерных пространствах точки разбросаны далеко друг от друга, а меры расстояний не работают, поэтому модели с трудом находят закономерности и имеют тенденцию к переобучению.
Как PCA решает, какие направления следует сохранить?
PCA находит главные компоненты, оси наибольшего отклонения, и сохраняет верхние из них, поскольку они несут больше всего информации.
Почему PCA называют «линейным» методом?
Каждый главный компонент представляет собой линейную комбинацию исходных функций, поэтому PCA не может уловить изогнутую нелинейную структуру, как это могут сделать t-SNE или UMAP.
В чем особенно хороши t-SNE и UMAP?
Оба являются нелинейными методами, которые удерживают близлежащие точки рядом на низкоразмерной карте, делая кластеры видимыми в 2D или 3D.