Преглед
Активното учене е стратегия за обучение, при която моделът сам избира кои немаркирани примери човекът трябва да маркира следващия. Има значение, защото данните за етикетиране са скъпи и интелигентният избор може да достигне висока точност с малка част от анотациите.
Активното обучение се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение.
Дълбоко гмуркане
Повечето контролирано обучение предполага, че вече имате голяма купчина етикетирани данни. Активното учене обръща това: започвате с малък етикетиран набор и голям набор от немаркирани примери, след което многократно молите човек („оракула“) да маркира само най-информативните. Моделът се обучава, използва се за оценка на немаркирания пул и примерите с най-висока стойност се изпращат за етикетиране — след това цикълът се повтаря. Обичайните стратегии за подбор включват вземане на извадки при несигурност (избиране на примери, за които моделът е най-малко уверен), запитване по комисия (избиране на случаите, в които съвкупността не е съгласна) и извадка за разнообразие (покриване на различни региони от данните). Направено добре, активното обучение може да съпостави точността на пълния набор от данни, използвайки много по-малко етикети, поради което е популярно в медицинските изображения, НЛП и всяка област, където експертната анотация е бавна или скъпа.
Техническа информация
Основната идея е да оцените „стойността“ на всяка необозначена точка, преди да платите, за да я обозначите. Извадката за несигурност използва собствените вероятности на модела - например избиране на точката, чиято вероятност от най-висок клас е най-близка до случайността или с най-висока ентропия или най-малък марж между първите два класа. Query-by-committee обучава няколко модела и избира точки, където те са най-несъгласни. Ключов риск е пристрастието при вземане на проби: алчното преследване на несигурността може да игнорира цели региони, така че често се комбинират методи за разнообразие или партиди.
Овладяване на активното учене
Активното учене е стратегия за обучение, при която моделът сам избира кои немаркирани примери човекът трябва да маркира следващия. Има значение, защото данните за етикетиране са скъпи и интелигентният избор може да достигне висока точност с малка част от анотациите. Активното обучение се намира в основния набор от инструменти за изкуствен интелект. Когато го разберете, други теми за ИИ стават по-лесни за оценка и сравнение. За да изградите дълбоко разбиране, третирайте активното обучение като оперативен модел, а не като отделна функция: дефинирайте желаните резултати, изяснете предположенията и отделете това, което системата може да направи надеждно, от това, което все още изисква експертна преценка.
На практика силни екипи, използващи активно обучение, първо изграждат силни концептуални модели, след което картографират тези модели към реални производствени ограничения. Те документират изрични критерии за успех, тестват срещу реалистични данни и работни потоци и повтарят въз основа на наблюдавани модели на неуспех, а не на еднократни победи в бенчмарка. Това е мястото, където теоретичното разбиране се превръща в трайна способност за продукти, политики и операции.
Помага ви да отделите ясните технически твърдения от маркетинговия език. В същото време различни екипи могат да използват един и същ термин по различен начин, така че дефинирайте обхвата рано. Най-устойчивият подход е да се комбинира скоростта на експериментиране с дисциплината на управление: стартирайте пилотни проекти, събирайте доказателства, публикувайте регистрационни файлове за решения и непрекъснато актуализирайте предпазните мерки, докато поведението на модела, очакванията на потребителите и регулаторните изисквания се развиват.
Стратегическо въздействие
Помага ви да отделите ясните технически твърдения от маркетинговия език.
Помага ви да отделите ясните технически твърдения от маркетинговия език. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време.
Можете да задавате въпроси за по-добро внедряване, преди да харчите пари или време. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение.
Екипи със споделено разбиране вземат по-добри решения за продукти, политики и обучение. При висококачествени внедрявания това се превръща в измерими правила за работа, граници на собствеността и повтарящи се ритуали за преглед, така че екипите да могат да мащабират доверието, вместо да мащабират неяснотата.
Внедряване в реалния свят
Рентгенологичен екип обучава детектор за тумори, като накара модела да маркира най-двусмислените сканирания за етикетиране на експерти рентгенолози, намалявайки драстично часовете за анотация.
Системата за спам или модериране на съдържание показва гранични съобщения, за които е най-малко сигурна за рецензентите, подобрявайки се най-бързо в най-трудните случаи.
Компания за разпознаване на реч избира аудио клипове, където моделът й е най-несигурен (акценти, шум), за да ги изпрати за транскрипция, вместо да етикетира произволни клипове.
Каталогът за електронна търговия използва запитване по комисия, за да избере изображения на продукти, където множество класификатори не са съгласни, като ги приоритизира за ръчно етикетиране на категории.
Модели на изпълнение
Активно учене на практика
Рентгенологичен екип обучава детектор за тумори, като накара модела да маркира най-двусмислените сканирания за етикетиране на експерти рентгенолози, намалявайки драстично часовете за анотация.
Рентгенологичен екип обучава детектор на тумори, като накара модела да маркира най-двусмислените сканирания за експертите радиолози, които да етикетират, намалявайки драстично часовете за анотация Екипите обикновено получават по-добри резултати, когато определят праговете на качеството предварително, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Активно учене на практика
Системата за спам или модериране на съдържание показва гранични съобщения, за които е най-малко сигурна за рецензентите, подобрявайки се най-бързо в най-трудните случаи.
Системата за нежелана поща или модериране на съдържание показва гранични съобщения, за които е най-малко сигурна за рецензентите от хора, подобрявайки се най-бързо в трудни крайни случаи. Екипите обикновено получават по-добри резултати, когато определят праговете за качество предварително, поддържат човешки път за ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Активно учене на практика
Компания за разпознаване на реч избира аудио клипове, където моделът й е най-несигурен (акценти, шум), за да ги изпрати за транскрипция, вместо да етикетира произволни клипове.
Компанията за разпознаване на реч избира аудиоклипове, където нейният модел е най-несигурен (акценти, шум), за да ги изпрати за транскрипция, вместо да етикетира случайни клипове. Екипите обикновено получават по-добри резултати, когато определят праговете за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Активно учене на практика
Каталогът за електронна търговия използва запитване по комисия, за да избере изображения на продукти, където множество класификатори не са съгласни, като ги приоритизира за ръчно етикетиране на категории.
Каталогът за електронна търговия използва заявка по комисия, за да избира изображения на продукти, където множество класификатори не са съгласни, като ги приоритизира за ръчно етикетиране на категории. Екипите обикновено получават по-добри резултати, когато дефинират прагове за качество отпред, поддържат път на човешка ескалация за крайни случаи и проследяват както печалбите в производителността, така и разходите за грешки във времето.
Рискове и предпазни огради
Различните екипи могат да използват един и същи термин по различен начин, така че дефинирайте обхвата рано.
Бенчмарковете могат да изглеждат силни, докато производителността в реалния свят е неравномерна.
Пренебрегването на качеството на данните и плановете за оценка често създава крехки резултати.
Пътна карта за изпълнение
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете.
Започнете с дефиниция на обикновен език за резултата, от който се нуждаете. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изберете един показател за успех и едно условие за неуспех преди тестване.
Изберете един показател за успех и едно условие за неуспех преди тестване. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор.
Изпълнете малък пилотен проект с представителни данни, а не изпипан демонстрационен набор. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.
Документирайте къде активното учене помага и къде по-простите методи са по-добри.
Документирайте къде активното учене помага и къде по-простите методи са по-добри. Отнасяйте се към всяка стъпка като към вход за доказателства: ако критериите не са изпълнени, поставете на пауза разпространението, запълнете празнината и едва след това разширете използването.