ДалееСледующее руководство
Кластеризация K-средних
Основы
РУКОВОДСТВО ПО ОСНОВАМ
Процент точности ИИ описывает результаты определенного набора оценок в соответствии с определенным определением правильности; он не гарантирует такую же производительность в будущих случаях или в каждой подгруппе.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Чтобы интерпретировать заявление, спросите, как были выбраны тестовые данные, какие ошибки были учтены и соответствует ли измеренная задача реальному использованию.
Точность — это доля оцененных случаев, которые система правильно пометила. Если тест содержит 100 случаев и 95 из них являются правильными, измеренная точность для этого теста составляет 95 процентов. Число не говорит о том, какие пять случаев были неправильными, все ли ошибки имеют одинаковое влияние или похож ли тест на будущие входные данные. Набор данных со многими простыми или распространенными случаями может привести к высокой точности, в то время как производительность в важном редком случае останется низкой. Спросите, как был построен оценочный набор и отделен ли он от обучения и настройки. Модель может запоминать примеры или получать пользу от повторяющихся корректировок эталона. Отложенный набор тестов дает более достоверную оценку, но он все равно должен отражать совокупность развертываний и задачи. Утечка данных, дублированные записи, устаревшие образцы или узкий метод сбора могут привести к искажению результатов. Посмотрите не только на точность, но и на матрицу путаницы. Точность описывает, сколько предсказанных положительных результатов оказались верными; отзыв описывает, сколько фактических положительных результатов было найдено. Специфичность и уровень ложноположительных результатов помогают описать отрицательные случаи. Какая мера имеет наибольшее значение, зависит от последствий. Спам-фильтр может допускать некоторые сообщения, отправленные на проверку; система медицинского скрининга с высокими ставками требует тщательного последующего наблюдения и не должна рассматривать положительный результат как диагноз. Производительность может различаться в зависимости от языка, возраста, освещения, устройства, региона или других соответствующих подгрупп. Общий средний показатель может скрыть эти различия. Запросите результаты по значимой группе с указанием размеров выборки и неопределенности и подумайте, было ли в процессе оценки достаточно примеров для подтверждения каждой оценки. Если система изменится или изменится среда, старые результаты могут больше не описывать нынешнюю производительность. Заявление о точности полезно, когда оно конкретное: четко определены задача, набор данных, дата, пороговое значение и меры погрешности. Это не гарантия какого-либо отдельного результата.
Спросите, была ли заявленная точность в 95 процентов получена на основе отложенного тестового набора или на примерах, использованных для обучения модели.
Сравните показатели ложноположительных и ложноотрицательных результатов классификатора перед его применением, если две ошибки имеют разную цену.
Проверьте, содержит ли эталон модели изображения освещение, камеру и объекты, найденные на предполагаемом рабочем месте.
Просматривайте результаты подгрупп, а не полагайтесь только на одну совокупную оценку при найме или поддержке рабочего процесса.
Все больше оценок ИИ начинают сообщать о результатах конкретных задач, производительности подгрупп и неопределенности, а не об одной цифре в заголовке. Это может помочь покупателям и пользователям сравнить системы с условиями, с которыми они фактически сталкиваются. Тесты по-прежнему будут отставать от изменения данных и версий продукта. Организациям необходимо будет проводить локальное тестирование, отслеживать значимые ошибки после запуска и обновлять свои решения по мере изменения модели, совокупности или стоимости ошибок. Команды могут сохранять оценочные снимки, чтобы можно было объективно сравнивать каждый выпуск с его предшественником и более поздними версиями.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Процент точности ИИ описывает результаты определенного набора оценок в соответствии с определенным определением правильности; он не гарантирует такую же производительность в будущих случаях или в каждой подгруппе. Чтобы интерпретировать заявление, спросите, как были выбраны тестовые данные, какие ошибки были учтены и соответствует ли измеренная задача реальному использованию.
Точность — это результат оцененных примеров, а не обещание относительно каждого будущего случая.
Он правильно маркирует все 99 отрицательных примеров и упускает единственный положительный.
Напомним, это истинные положительные результаты, разделенные на истинные положительные результаты и ложные отрицательные результаты.
Использование результатов теста для многократного выбора модели делает тест менее независимым.
За средними показателями могут скрываться более низкие показатели для определенных групп населения или условий.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Кластеризация K-средних
Основы