Преглед
Откриването на аномалии е практика на обучение на машини да маркират точки от данни, които рязко се отклоняват от нормалните модели. Има значение, защото редки, неочаквани събития - измама, повреда на оборудването, прониквания - често се крият в океани от рутинни данни, които хората не могат да сканират на ръка.
Откриването на аномалии е част от основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Откриването на аномалии идентифицира наблюдения, които не съответстват на очакваното поведение, често наричани отклонения, новости или изключения. Повечето подходи първо научават как изглежда „нормалното“, след което оценяват новите данни според това колко далеч се отклоняват. Статистическите методи маркират точки над няколко стандартни отклонения; методи, базирани на разстояние, като k-най-близки съседни флагови точки, далеч от своите връстници; методи за плътност като точки с флагове за локален фактор на отклонение в редки региони. Машинното обучение добавя изолационни гори, които използват факта, че аномалиите са лесни за изолиране с няколко произволни разделяния, и автокодери, които възстановяват добре нормалните данни, но се провалят при необичайните. Основно предизвикателство е, че аномалиите са редки и често немаркирани, така че моделите трябва да се учат предимно от нормални примери и да толерират двусмислени, развиващи се дефиниции на „нормално“.
Техническа информация
Много системи се обучават само на нормални данни - наречени еднокласно или полу-контролирано обучение - тъй като етикетираните аномалии са оскъдни. Един автоенкодер, например, компресира входа към малко тясно място и го реконструира; обучен върху нормални проби, той произвежда голяма грешка при реконструкция на аномалии, които никога не е виждал. Изолационните гори работят по различен начин: произволното разделяне изолира отклоненията в по-малко разделяния, така че по-късата средна дължина на пътя сигнализира за аномалия. И двете преобразуват „странността“ в числова оценка с праг.
Овладяване на откриването на аномалии
Откриването на аномалии е практика на обучение на машини да маркират точки от данни, които рязко се отклоняват от нормалните модели. Има значение, защото редки, неочаквани събития - измама, повреда на оборудването, прониквания - често се крият в океани от рутинни данни, които хората не могат да сканират на ръка. Откриването на аномалии е част от основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте откриването на аномалии като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи откриване на аномалии, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Мрежите за кредитни карти маркират транзакция в чужда държава секунди след като картата е била използвана в страната, замразявайки вероятна измама преди покупка.
Фабричните сензори откриват необичайни вибрации или температура в двигателя, предвиждайки повреда на лагера дни преди повреда да спре линията.
Инструментите за киберсигурност забелязват сървър, който внезапно изпраща гигабайти към неизвестен IP адрес в 3 сутринта, сигнализирайки за възможно кражба на данни.
Болничните монитори улавят неправилен сърдечен ритъм в непрекъснати ЕКГ данни, предупреждавайки клиницистите за развиваща се аритмия.
Модели на изпълнение
Откриване на аномалии на практика
Мрежите за кредитни карти маркират транзакция в чужда държава секунди след като картата е била използвана в страната, замразявайки вероятна измама преди покупка.
Мрежите за кредитни карти маркират транзакция в чужда държава секунди след като картата е била използвана в страната, замразявайки вероятна измама преди покупка. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Откриване на аномалии на практика
Фабричните сензори откриват необичайни вибрации или температура в двигателя, предвиждайки повреда на лагера дни преди повреда да спре линията.
Фабричните сензори откриват необичайни вибрации или температура в двигателя, предвиждайки повреда на лагера дни преди повреда да спре линията. Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат човешки път за ескалация за екстремни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Откриване на аномалии на практика
Инструментите за киберсигурност забелязват сървър, който внезапно изпраща гигабайти към неизвестен IP адрес в 3 сутринта, сигнализирайки за възможно кражба на данни.
Инструментите за киберсигурност забелязват сървър, който внезапно изпраща гигабайти към неизвестен IP адрес в 3 часа сутринта, сигнализирайки за възможно кражба на данни. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Откриване на аномалии на практика
Болничните монитори улавят неправилен сърдечен ритъм в непрекъснати ЕКГ данни, предупреждавайки клиницистите за развиваща се аритмия.
Болничните монитори улавят неравномерен сърдечен ритъм в непрекъснати ЕКГ данни, предупреждавайки клиницистите за развиваща се аритмия. Екипите обикновено получават по-добри резултати, когато предварително определят прагове за качество, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде откриването на аномалии помага и къде по-простите методи са по-добри.
Документирайте къде откриването на аномалии помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.