LIME Місцеві пояснення

LIME, скорочення від Local Interpretable Model-agnostic Explanations, — це метод апроксимації складної моделі навколо одного прикладу за допомогою простішої моделі пояснення. Оригінальна робота описує модельно-агностичний підхід: він може запитувати класифікатор, не потребуючи доступу до його внутрішньої архітектури. Користувач вибирає представлення, яке можна інтерпретувати, наприклад наявність або відсутність слів для тексту або сегментів для зображення. Щоб пояснити екземпляр, LIME створює збурені версії в цьому інтерпретованому представленні, відображає їх назад у вхідні дані, які може оцінити оригінальна модель, і надає більшої ваги збуренням, які вважаються близькими до екземпляру. Потім він підбирає просту модель, часто розріджену лінійну модель, щоб наблизити вихідні дані вихідної моделі в цьому околиці. Отримані коефіцієнти або обрані умови забезпечують компактний локальний рахунок. Це наближення не є глобальним підсумком. Функція, яка має значення біля одного прикладу, може мати інше значення в іншому місці, і один локальний сурогат може не охопити дуже нерегулярну поверхню прийняття рішень. Пояснення також залежить від вибору дизайну: як вхідні дані збурені, як визначена відстань, скільки зразків відібрано, які функції дозволені та як сурогат регуляризовано. У тексті самостійне видалення слів може призвести до неприродних речень; на зображеннях межі сегментів впливають на те, які регіони виглядають важливими. Правдоподібне пояснення не є автоматично вірним. Перевірте відповідність сурогату екземпляру, повторіть пояснення в розумних налаштуваннях і перевірте, чи зміна виділених функцій змінює вихідну модель належним чином. Використовуйте відповідне представлення домену та перевіряйте, чи збурені приклади залишаються значущими. Порівняйте з іншими доказами, такими як контрфактичні тести або глобальна перевірка, коли рішення мають наслідки. LIME пояснює поведінку моделі навколо вибраних вхідних даних, а не те, чому відбувся реальний результат. Він не встановлює причинно-наслідковий зв’язок, справедливість чи правильність. Ставтеся до його результатів як до діагностичної допомоги, розкривайте його припущення та переконайтеся, що рецензент може оскаржити пояснення, а не приймати візуально чітку діаграму як доказ.