多重共線性と分散インフレ係数

回帰係数は、他の予測子を固定したまま解釈されます。 1 つの予測子が別の予測子とは独立して変化するケースがデータにほとんど含まれていない場合、その比較は弱くサポートされます。適合モデルは応答を適切に予測する可能性がありますが、サンプルへの小さな変更により、個々の係数、その符号、または標準誤差に大きな変化が生じる可能性があります。共線性が予測よりも説明に直接悪影響を与えることが多いのはこのためです。予測子 j について、他の予測子で回帰し、決定係数 R 二乗を計算します。その分散膨張係数は VIF_j = 1/(1 - R-squared_j) です。他の予測子が予測子 j のほとんどを説明する場合、分母は小さく、VIF は大きくなります。単純な仮説計算では、R-squared_j が 0.8 の場合、VIF は 1/(1 - 0.8) = 5 になります。線形モデル設定では、これは、その係数の分散が、同等の残差分散を持つ直交予測子比較の場合の 5 倍であることを意味します。その標準誤差には 5 の平方根が乗算されます。 VIF は診断であ​​り、普遍的な合否しきい値ではありません。大きな値は重複を識別しますが、それが科学的に合理的であるかどうか、変数を削除する必要があるかどうか、またはモデルが無効であるかどうかは判断できません。完全な線形依存性では、通常の計画行列では係数を識別できなくなりますが、ほぼ依存性では推定は可能ですが不安定になります。係数の不確実性、予測変数の定義、設計マトリックス、および研究の目的を検査します。考えられる対応としては、予測子の効果を分離する観測値の収集、正当化される場合の冗長な測定の組み合わせ、事前知識に基づいた 1 つの予測子の選択、または予測が目的の場合のリッジ回帰などの正則化の使用が含まれます。 VIF を下げるためだけに変数を削除すると、省略された変数のバイアスが生じたり、質問が変わったりする可能性があります。センタリングは、多項式の項や交互作用によって生じる本質的でない相関関係を解決するのに役立ちますが、実質的な重複をすべて解決できるわけではありません。選択したモデルを再調整して評価し、その係数がサポートできるものとサポートできないものを説明します。