ДалееСледующее руководство
Обобщенные линейные модели
Технический
Техническое РУКОВОДСТВО
AdaBoost последовательно формирует ансамбль слабых учеников, уделяя больше внимания обучающим примерам, которые предыдущие ученики классифицировали неправильно.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Взвешенное голосование объединяет учащихся, но шумные ярлыки и резкие выбросы могут оказать непропорциональное влияние.
Адаптивное повышение, или AdaBoost, объединяет последовательность слабых обучающихся в более сильный предиктор. Слабому учащемуся достаточно добиться результатов только выше базового уровня в соответствии с текущей схемой взвешивания; Пни решений, деревья с одним разбиением, являются распространенным примером обучения. В отличие от методов, которые обучают каждого учащегося независимо, а затем усредняют результаты, AdaBoost адаптирует каждый раунд к предыдущим ошибкам. В бинарной классификации обучающие примеры начинаются с весов, часто равных. Слабый ученик подбирается с использованием этих весов. Его взвешенная ошибка определяет, какое влияние он получает в ансамбле: учащийся с меньшей ошибкой получает больший голос при условии, что он работает лучше, чем случайность, в условиях алгоритма. Затем веса примеров корректируются таким образом, чтобы неправильно классифицированные примеры получали относительно больше внимания в следующем раунде. Процесс повторяется в течение выбранного количества раундов, и окончательный прогноз суммирует голоса учащихся. Простая интуиция — это череда пней. Первый пень может разделять большинство примеров на один порог признака, но пропускать кластер. AdaBoost увеличивает относительный вес этих промахов; следующему пню предлагается заняться ими. Более поздние пни могут исправить остаточные ошибки, в то время как более ранние ученики остаются в окончательной взвешенной комбинации. Этот фокус может помочь, когда ошибки отражают подлинную структуру, которую смогут уловить последующие ученики. Это также может быть слабостью. Неправильные ярлыки, крайние отклонения или примеры из другой группы населения могут неоднократно получать высокий вес, отвлекая внимание от более широкой закономерности. Изучите сложные примеры и оцените репрезентативные имеющиеся данные. Большее количество раундов не гарантирует лучшего обобщения. AdaBoost по своей формулировке отличается от повышения градиента, хотя оба добавляют обучающихся последовательно. Реализации различаются поддерживаемыми потерями, оценками и интерфейсами. Объясните конкретный алгоритм и поведение библиотеки, когда эти детали имеют значение. Настройте сложность учащихся и раунды повышения квалификации с помощью проверки и сравните их с более простыми базовыми показателями, а не предполагайте, что победит слабый ансамбль учащихся.
Последовательность неглубоких ошибок в принятии решений сначала разделяет клиентов на один порог, затем следующий этап уделяет больше внимания оставшимся ошибкам классификации.
Команда сравнивает AdaBoost с одним пнем, используя удержанное разделение, и проверяет, сохраняется ли выигрыш в соответствующих подгруппах.
В несбалансированном наборе данных используются тщательно разработанные веса, в то время как аналитик проверяет, не превышают ли примеры редкого класса непреднамеренно цель.
Набор данных содержит неправильно помеченные крайние случаи; команда проверяет примеры с постоянно высокими весами, прежде чем выбрать дополнительные раунды повышения.
Повышение остается полезным способом создания надежных табличных предикторов для скромных учащихся, а AdaBoost представляет собой наглядный пример последовательного исправления ошибок. Текущая практика часто сравнивает его с библиотеками деревьев с градиентным усилением и другими ансамблями, которые предлагают другие цели или инженерные компромиссы. Будущее использование будет зависеть от качества данных, задержки, потребностей в интерпретируемости и измеренной эффективности проверки. Тщательный анализ особо важных случаев остается важным там, где ярлыки содержат ложную информацию или редкие примеры имеют необычное значение. Оценка по-прежнему определяет, подходит ли конкретный ансамбль для предполагаемой обстановки.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
AdaBoost последовательно формирует ансамбль слабых учеников, уделяя больше внимания обучающим примерам, которые предыдущие ученики классифицировали неправильно. Взвешенное голосование объединяет учащихся, но шумные ярлыки и резкие выбросы могут оказать непропорциональное влияние.
В последующих раундах используются веса, сформированные на основе ошибок предыдущих учеников.
AdaBoost подчеркивает примеры, неправильно классифицированные текущим обучающимся.
Учащийся должен превзойти шанс при текущих весах в классической схеме.
Постоянные ошибки могут сосредоточить внимание на шуме или нетипичных случаях.
Пень — это неглубокое дерево, состоящее из одной части, которое часто используют в качестве слабого ученика.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Обобщенные линейные модели
Технический