Преглед
Намаляването на размерността свива данните от много колони (характеристики) до няколко, като запазва важната структура. Той се бори с „проклятието на размерността“, ускорява моделите и ви позволява действително да визуализирате сложни данни в 2D или 3D.
Намаляването на размерността се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Реалните набори от данни често имат стотици или хиляди функции: всеки пиксел в изображение, всяка дума в речник, всеки сензор на машина. В такива пространства с големи размери точките от данни стават редки и далеч една от друга, измерванията на разстоянието стават ненадеждни и моделите са склонни да преувеличават шума. Това е проклятието на размерността. Намаляването на размерността картографира данните в много по-малко измерения, като същевременно запазва значими връзки. PCA прави това линейно, като намира посоките на най-голяма дисперсия. t-SNE и UMAP са нелинейни и превъзходни в разкриването на клъстери за визуализация. Намаляването на размерите премахва излишни или шумни функции, намалява паметта и изчисленията и често подобрява точността на модела надолу по веригата, тъй като има по-малко неуместен сигнал, който да го обърква.
Техническа информация
PCA работи чрез изчисляване на ковариацията на характеристиките и намиране на собствени вектори, „основните компоненти“, които сочат по посоките на максималната дисперсия. Вие запазвате първите няколко компонента и проектирате данни върху тях, като отхвърляте посоки с ниска вариация, които са предимно шум. t-SNE и UMAP вместо това моделират съседски взаимоотношения: те се опитват да запазят точките, които са били близки във високи измерения, близки в нискоизмерната карта. UMAP изгражда графика на близки точки, което го прави по-бърз от t-SNE и по-добър в запазването на по-широка глобална структура.
Овладяване на намаляването на размерността
Намаляването на размерността свива данните от много колони (характеристики) до няколко, като запазва важната структура. Той се бори с „проклятието на размерността“, ускорява моделите и ви позволява действително да визуализирате сложни данни в 2D или 3D. Намаляването на размерността се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте намаляването на размерността като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силните екипи, използващи намаляване на размерността, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Изчертаване на вграждания на думи или изречения от езиков модел в 2D с UMAP, за да видите кои концепции моделът групира заедно
Компресиране на хиляди измервания на генна експресия на пациент в няколко компонента преди групиране на подтипове на заболяването
Намаляване на характеристиките на изображението, преди подаването им към класификатор, така че обучението да е по-бързо и по-малко склонно към пренастройване
Визуализиране на поведението на клиентите в стотици показатели като двуизмерна точкова диаграма за откриване на различни пазарни сегменти
Модели на изпълнение
Намаляване на размерността на практика
Изчертаване на вграждания на думи или изречения от езиков модел в 2D с UMAP, за да видите кои концепции моделът групира заедно.
График на вграждане на думи или изречения от езиков модел в 2D с UMAP, за да видите кои концепции моделът групира заедно Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Намаляване на размерността на практика
Компресиране на хиляди измервания на генна експресия на пациент в няколко компонента преди групиране на подтипове на заболяването.
Компресиране на хиляди измервания на генна експресия на пациент в няколко компонента преди клъстериране на подтипове на болестта Екипите обикновено получават по-добри резултати, когато дефинират праговете на качеството предварително, поддържат човешки път на ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Намаляване на размерността на практика
Намаляване на характеристиките на изображението, преди подаването им към класификатор, така че обучението да е по-бързо и по-малко склонно към пренастройване.
Намаляване на характеристиките на изображението, преди да бъдат подавани към класификатор, така че обучението да е по-бързо и по-малко склонно към пренастройване Екипите обикновено получават по-добри резултати, когато дефинират праговете за качество предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Намаляване на размерността на практика
Визуализиране на поведението на клиентите в стотици показатели като двуизмерна точкова диаграма за откриване на различни пазарни сегменти.
Визуализиране на поведението на клиентите в стотици показатели като 2D точкова диаграма за откриване на отделни пазарни сегменти Екипите обикновено получават по-добри резултати, когато предварително определят праговете на качеството, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде Намаляването на размерността помага и къде по-простите методи са по-добри.
Документирайте къде Намаляването на размерността помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.