ДалееСледующее руководство
Методы выбора функций
Технический
Техническое РУКОВОДСТВО
Важность функции перестановки оценивает, насколько подобранная модель зависит от входных данных путем перетасовки этих входных данных и измерения изменения в прогнозной эффективности.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это помогает исследовать поведение модели, но не доказывает, что конкретная особенность является причиной результата.
Важность перестановки ставит практический вопрос: насколько меняется оценка этой подобранной модели, когда информация на одном входе нарушается? Сначала измерьте модель на наборе оценочных данных. Перетасуйте значения одного признака по строкам, оставив остальные признаки и метки результатов неизменными, а затем снова оцените ту же самую подобранную модель. Восстановите данные и повторите действия для других функций. При использовании метрики «чем выше, тем лучше» важность равна исходной оценке минус перетасованная оценка. Таким образом, гипотетическое снижение с 0,82 до 0,70 дает значимость 0,12. Единицы соответствуют выбранной метрике. Это не является автоматически процентным вкладом в прогноз, и значения важности не обязательно должны быть в сумме равными единице. Повторяйте тасование, поскольку разные случайные перестановки могут давать разные результаты. Сообщите о среднем значении и отклонении, а также о показателях и наборе оценочных данных. Значение, близкое к нулю, может означать, что модель мало использует эту функцию в этом тесте. Это также может возникнуть, когда другая функция предоставляет аналогичную информацию. Коррелированные входные данные представляют собой серьезную проблему интерпретации. Модель может продолжать хорошо прогнозировать после того, как один из двух похожих датчиков перетасован. Удаление обоих датчиков может иметь гораздо больший эффект. Перетасовка также может привести к появлению неправдоподобных входных комбинаций, поэтому знание предметной области имеет значение при интерпретации эксперимента. Оцените эффективность прогнозирования, прежде чем интерпретировать рейтинги функций. Плохо работающая модель не может достоверно объяснить, какие входные данные будут иметь значение для лучшей модели. Scikit-learn предоставляет permutation_importance для проверки подходящих оценщиков. Использование сохраненных данных фокусирует анализ на поведении модели за пределами ее обучающих случаев. Результат описывает эту модель, набор данных и метрику; оно не устанавливает причинно-следственных связей в мире.
Гипотетическая модель доставки получает оценку 0,82 до того, как функция перетасовывается, и 0,70 после этого, используя показатель, согласно которому чем выше, тем лучше. Измеренная важность этой перетасовки равна 0,12.
Две колонки датчиков несут практически идентичную информацию о температуре. В этой подобранной модели перетасовка одного из столбцов по отдельности не имеет большого эффекта, поскольку модель все равно может использовать другой столбец.
Аналитик повторяет каждую тасовку с несколькими случайными перестановками и сообщает об уменьшении среднего балла и его изменении. Это показывает, является ли наблюдаемый эффект стабильным при выбранной настройке оценки.
Команда использует permutation_importance scikit-learn для отложенного набора данных после подтверждения того, что подобранная модель дает полезные прогнозы. Он сравнивает результат с известными входными данными модели и возможными источниками утечек.
Инструменты проверки моделей можно улучшить, показывая важность функций вместе с случаями, показателями и предположениями о данных, лежащими в основе каждого рейтинга. Команды должны сохранять сравнения между версиями моделей и исследовать резкие изменения, а не рассматривать одну диаграмму как постоянное объяснение. Для коррелированных исходных данных тщательно разработанный групповой или условный анализ может предоставить дополнительный контекст, но их предположения также нуждаются в документации. Полезным следующим шагом после неожиданного ранжирования является исследование: проверьте качество данных, утечку и связанные с ними функции, а затем проверьте конкретную гипотезу о том, почему модель ведет себя таким образом.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Важность функции перестановки оценивает, насколько подобранная модель зависит от входных данных путем перетасовки этих входных данных и измерения изменения в прогнозной эффективности. Это помогает исследовать поведение модели, но не доказывает, что конкретная особенность является причиной результата.
Вычтите перетасованную оценку из базовой оценки: 0,82 минус 0,70 равно 0,12.
Перетасовка одной функции нарушает ее связь с результатами и другими входными данными, при этом остальные столбцы и метки остаются неизменными.
Коррелирующие входные данные могут заменять друг друга, в результате чего отдельные перетасовки занижают их совокупный вклад.
Повторные перестановки показывают, насколько стабильно изменение измеренного балла при настройке оценки.
Переобучение позволяет адаптироваться к изменившемуся набору функций. Базовый тест на перестановку измеряет реакцию существующей модели на нарушенный входной сигнал.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Методы выбора функций
Технический