LIME のローカル説明

LIME は Local Interpretable Model-agnostic Explains の略で、1 つの例に基づいて複雑なモデルをより単純な説明モデルで近似する方法です。オリジナルの研究では、モデルに依存しないアプローチが説明されています。つまり、内部アーキテクチャにアクセスすることなく分類器をクエリできます。ユーザーは、テキストの単語や画像のセグメントの有無など、解釈可能な表現を選択します。インスタンスを説明するために、LIME は解釈可能な表現で摂動バージョンを作成し、それらを元のモデルがスコアリングできる入力にマップし直し、インスタンスに近いと考えられる摂動により多くの重みを与えます。次に、単純なモデル (多くの場合、疎線形モデル) を近似して、その近傍における元のモデルの出力を近似します。結果として得られる係数または選択された条件により、コンパクトなローカル アカウントが提供されます。この近似値は全体的な概要ではありません。ある例の近くでは重要な特徴でも、他の場所では重要とは異なる可能性があり、単一のローカル サロゲートでは非常に不規則な決定曲面を捕捉できない場合があります。この説明は、入力がどのように摂動されるか、距離がどのように定義されるか、描画されるサンプルの数、どの特徴が許可されるか、およびサロゲートがどのように正規化されるかなど、設計の選択にも依存します。テキストでは、独立した単語を削除すると不自然な文が生成される可能性があります。画像では、セグメントの境界はどの領域が重要に見えるかに影響します。もっともらしい説明が自動的に忠実になるわけではありません。サロゲートがインスタンスに適合していることを確認し、適切な設定で説明を繰り返し、強調表示されたフィーチャを変更すると元のモデルが期待どおりに変更されるかどうかをテストします。適切なドメイン表現を使用し、摂動された例が意味のあるままであるかどうかを検査します。決定に影響がある場合は、反事実テストや全体的な検査などの他の証拠と比較します。 LIME は、現実世界の結果がなぜ起こったかではなく、選択された入力に基づいたモデルの動作を説明します。因果関係、公平性、正しさを証明するものではありません。その出力を診断補助として扱い、その仮定を明らかにし、視覚的に明確なチャートを証拠として受け入れるのではなく、人間のレビュー担当者がその説明に異議を唱えられるようにします。