ДалееСледующее руководство
Скрытый технический долг в системах машинного обучения
Технический
Техническое РУКОВОДСТВО
Петля обратной связи возникает, когда решения, основанные на модели, меняют наблюдаемые результаты, и эти наблюдения позже влияют на обучение или политику.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Это может усилить существующие закономерности или исказить оценку, поэтому командам следует отслеживать воздействие, сохранять контрфактический контекст и тщательно тестировать вмешательства.
Модель часто влияет на среду, в которой собираются ее будущие данные. Система рекомендаций выбирает, что видят пользователи, система мошенничества определяет, какие дела будут рассматриваться, а модель распределения определяет, кто получит возможность. Эти решения влияют на наблюдаемые результаты. Когда эти результаты возвращаются в обучение, результирующий набор данных отражает как основной мир, так и предыдущие действия модели. В рекомендателе элементы с высоким рейтингом получают больше внимания и, следовательно, больше возможностей для кликов. Журнал кликов может сделать эти элементы более релевантными, повышая их рейтинг. При найме или кредитовании только избранные кандидаты могут получить последующие результаты, такие как собеседование или наблюдение за погашением, в то время как результаты для невыбранных случаев отсутствуют. Это эффекты отбора; рассмотрение отсутствующих результатов как отрицательных или эквивалентных может привести к искажению будущих моделей. Петли обратной связи не всегда усиливают предвзятость, и их направление зависит от политики, пользователей и сбора данных. Модель может благотворно изменить поведение, а повторное воздействие может уменьшить разнообразие или скрыть альтернативы. По возможности отделяйте экспозицию от предпочтений, записывая в журнал то, что было показано, положение и вероятность выбора. Используйте рандомизированные исследования, воздержания или тщательно спланированные эксперименты, чтобы узнать об альтернативах, когда они этичны и безопасны. Оценка, не соответствующая политике, может оценить некоторые изменения на основе зарегистрированных данных в рамках допущений, но она чувствительна к отсутствующей поддержке и неточным тенденциям. Контролируйте, кто получает возможности, что наблюдается и в каких случаях нет результатов. Сравните охват ярлыков по оценкам и группам. Учитывайте отсроченные эффекты и адаптацию пользователя. Изменения в геологоразведочных работах могут повлиять на краткосрочные показатели, поэтому определите ограничения и проанализируйте риски. Постоянное обучение на данных, основанных на модели, может запутать политику и прогнозирование; вести четкие журналы и версионные правила принятия решений. Петля обратной связи — это свойство всей социотехнической системы, а не только модельного алгоритма. Для смягчения последствий требуется измерение действий и результатов, а не просто переобучение на более крупном наборе данных.
Рекомендатель чаще показывает популярные элементы, создавая больше кликов по этим элементам и более убедительные доказательства будущего обучения, даже если первоначальные различия в представлении способствовали их популярности.
Модель найма проверяет кандидатов, и регистрируются только результаты собеседований. Отфильтрованные кандидаты не имеют сопоставимых результатов, что делает данные о будущем обучении выборочными.
Модель мошенничества отправляет дела с высоким риском на проверку вручную, поэтому ярлыки мошенничества более полны для высоких оценок, чем для низких; Покрытие меток зависит от пути решения.
Команда разработчиков использует рандомизированную корзину исследований или политику отложенного воздействия для сбора данных о менее показываемых элементах, одновременно отслеживая влияние пользователей и соблюдая ограничения безопасности.
Команды могут сократить вредные петли обратной связи, регистрируя риски и политики выбора, проверяя, чьи результаты наблюдаются, и собирая контролируемые данные об альтернативах. Им следует оценить как непосредственную полезность, так и долгосрочные изменения в разнообразии, доступе и поведении пользователей. Рандомизированное исследование может помочь, если оно разработано с четкими ограничениями и согласием или одобрением политики. Со временем сравнивайте обозначенный охват различных путей принятия решений и обновляйте методы оценки по мере изменения политики. Цель состоит в том, чтобы понять, как принятые решения меняют будущие доказательства, а не предполагать, что увеличение количества данных автоматически устраняет предвзятость.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Петля обратной связи возникает, когда решения, основанные на модели, меняют наблюдаемые результаты, и эти наблюдения позже влияют на обучение или политику. Это может усилить существующие закономерности или исказить оценку, поэтому командам следует отслеживать воздействие, сохранять контрфактический контекст и тщательно тестировать вмешательства.
Рейтинг системы меняет воздействие, что меняет взаимодействие, собираемое для будущего обучения.
Изменяется отбор тех, кто получает интервью или другие наблюдаемые результаты, что делает ярлыки избирательными.
Журналы воздействия помогают определить, был ли просмотрен элемент, прежде чем интерпретировать отсутствующий клик как предпочтение.
Если исторические журналы не содержат примеров действий в контексте, контрфактическое значение не может быть идентифицировано там только на основе этих журналов.
Различные показатели рассмотрения или отбора влияют на наблюдаемые результаты и могут искажать оценку.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Скрытый технический долг в системах машинного обучения
Технический