ДалееСледующее руководство
Локальный фактор выбросов
Технический
Техническое РУКОВОДСТВО
Мультиколлинеарность возникает, когда предикторы в регрессии несут перекрывающуюся информацию, что затрудняет разделение их индивидуальных вкладов.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Коэффициент инфляции дисперсии (VIF) количественно определяет, насколько дисперсия коэффициента увеличивается из-за его линейной связи с другими предикторами, но не решает, какие переменные принадлежат модели.
Коэффициент регрессии интерпретируется при фиксировании других предикторов. Если данные содержат несколько случаев, когда один предиктор изменяется независимо от другого, такое сравнение слабо поддерживается. Подобранная модель по-прежнему может хорошо предсказывать реакцию, однако небольшие изменения в выборке могут привести к большим изменениям в отдельных коэффициентах, их знаках или стандартных ошибках. Вот почему коллинеарность часто вредит объяснению более непосредственно, чем предсказанию. Для предиктора j выполните регрессию по другим предикторам и вычислите коэффициент детерминации R-квадрат. Его коэффициент инфляции дисперсии составляет VIF_j = 1/(1 - R-squared_j). Если другие предикторы объясняют большую часть предиктора j, знаменатель мал, а его VIF велик. В простом гипотетическом расчете, если R-squared_j равен 0,8, то VIF равен 1/(1 - 0,8) = 5. При настройке линейной модели это означает, что дисперсия этого коэффициента в пять раз больше, чем при сравнении ортогональных предикторов с сопоставимой остаточной дисперсией; его стандартная ошибка умножается на квадратный корень из пяти. VIF — это диагностический показатель, а не универсальный порог «годен/не годен». Большое значение указывает на перекрытие, но не может сказать, является ли оно разумным с научной точки зрения, следует ли удалять переменную или модель недействительна. Совершенная линейная зависимость делает коэффициенты неидентифицируемыми в обычной матрице плана, тогда как близкая зависимость делает оценки возможными, но нестабильными. Проверьте неопределенность коэффициента, определения предикторов, матрицу плана и цель исследования. Потенциальные ответы включают сбор наблюдений, которые разделяют эффекты предикторов, объединение избыточных мер, когда это оправдано, выбор одного предиктора на основе предшествующих знаний или использование регуляризации, такой как гребневая регрессия, когда целью является прогнозирование. Удаление переменной исключительно для снижения VIF может создать систематическую ошибку из-за пропущенной переменной или изменить вопрос. Центрирование может помочь с несущественной корреляцией, возникающей из-за полиномиальных условий или взаимодействий, но оно не устраняет все существенные совпадения. Переоборудуйте и оцените выбранную модель и объясните, что могут и не могут поддерживать ее коэффициенты.
Гипотетическая модель жилья включает как площадь пола в квадратных футах, так и площадь пола в квадратных метрах. Поскольку одно из них представляет собой фиксированное масштабирование другого, матрица проектирования является избыточной; сохранение одной единицы позволяет избежать дублирования информации.
Аналитик оценивает модель времени в пути с учетом расстояния и предполагаемого расхода топлива, которые сильно сопутствуют выбранным маршрутам. Высокий показатель VIF указывает на нестабильную атрибуцию, даже если прогнозы остаются полезными в рамках аналогичных маршрутов.
Исследователь здравоохранения записывает возраст и годы с момента рождения отдельно. Их общая информация делает отдельные интерпретации коэффициентов слабыми; Рассуждения о предметной области могут определить, отвечает ли на вопрос исследования тот или иной показатель или другой контраст.
Команда сравнивает VIF до и после центрирования предиктора, используемого в полиномиальной модели. Центрирование может уменьшить несущественную коллинеарность между необработанными и квадратичными членами, сохраняя при этом необходимость проверки интерпретации и конструкции модели.
Отчеты о регрессии могут облегчить оценку коллинеарности, отображая вместе определения предикторов, интервалы коэффициентов, диагностику VIF и эффективность прогнозирования. Будущие анализы должны определить, является ли целью стабильная атрибуция, прогнозирование или и то, и другое, поскольку средства правовой защиты различаются. Когда возможен сбор новых данных, намеренное получение случаев, которые независимо изменяют предикторы, может улучшить интерпретируемость. Когда сбор данных не может быть изменен, может оказаться целесообразным использовать регуляризованную модель или прозрачную комбинированную меру с документированием ее компромиссов. Повторите оценку при изменении набора функций или популяции; вчерашние отношения предикторов не обязательно должны описывать новую выборку.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Мультиколлинеарность возникает, когда предикторы в регрессии несут перекрывающуюся информацию, что затрудняет разделение их индивидуальных вкладов. Коэффициент инфляции дисперсии (VIF) количественно определяет, насколько дисперсия коэффициента увеличивается из-за его линейной связи с другими предикторами, но не решает, какие переменные принадлежат модели.
Один столбец является постоянным кратным другого, поэтому модель не может отдельно идентифицировать оба коэффициента.
Коллинеарность может сделать отдельные оценки коэффициентов нестабильными, даже если предсказания в рамках наблюдаемого режима полезны.
VIF диагностирует перекрытие во включенных столбцах дизайна; он сам по себе не предписывает лекарство и не оценивает прогноз.
Увеличение дисперсии на пять соответствует увеличению стандартной ошибки на квадратный корень из пяти.
Эта особенность может быть важной с научной точки зрения, и ее удаление может изменить интерпретацию или пропустить соответствующую информацию.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Локальный фактор выбросов
Технический