Техническое РУКОВОДСТВО

Регрессия Softmax для мультиклассовой классификации

Регрессия Softmax расширяет логистическую регрессию на взаимоисключающие классы, присваивая каждому классу оценку и преобразуя все оценки в вероятности, сумма которых равна единице.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее регрессии Softmax для многоклассовой классификации
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Он обеспечивает интерпретируемое линейное правило принятия решений по шкале оценок, хотя его вероятностное качество и поведение, специфичное для класса, все еще требуют оценки.

Глубокое погружение

В бинарной логистической регрессии линейный показатель преобразуется в вероятность. Для K взаимоисключающих классов регрессия softmax присваивает каждому классу одну оценку. Каждая оценка является линейной функцией входных данных, а softmax возводит эти оценки в степень и делит каждую экспоненту на их сумму. Это дает неотрицательные вероятности классов, сумма которых равна единице. Прогнозируемый класс обычно имеет наибольшую вероятность, но вместо этого система принятия решений может использовать затраты или пересматривать пороговые значения. Предположим, что гипотетический трехклассный случай имеет оценки 2, 1 и 0. Их экспоненты составляют примерно 7,39, 2,72 и 1. Сумма составляет около 11,11, поэтому вероятности составляют примерно 0,665, 0,245 и 0,090. Сумма значений равна единице, поскольку каждое из них нормализовано по одному и тому же знаменателю. Разница в баллах имеет значение: добавление одной и той же константы к баллам каждого класса оставляет вероятности неизменными. Обучение обычно минимизирует мультиномиальную перекрестную энтропию, также называемую потерей журнала, что наказывает за присвоение низкой вероятности наблюдаемому классу. К величине коэффициента управления может быть добавлена ​​регуляризация. При наличии нескольких классов реализации могут по-разному параметризовать коэффициенты, а некоторые программы используют стратегии «один против остальных» для конкретных оценщиков. Прочтите документацию выбранного оценщика, прежде чем предполагать, что все многоклассовые логистические модели оптимизируют одну и ту же цель. Вероятности Softmax не калибруются автоматически. Модель может правильно ранжировать наиболее вероятный класс, будучи при этом систематически самоуверенной или недостаточно самоуверенной. Оцените полноту и точность по классам, матрицы путаницы, потери журналов и калибровку на данных, которые отражают совокупность развертываний. Для несбалансированных классов общий показатель точности может скрыть неудачи в менее распространенных результатах. Также убедитесь, что порядок категорий в выходных массивах соответствует меткам классов библиотеки. Метод предполагает, что каждый случай получает один класс из смоделированного набора; Задачи с несколькими метками, в которых несколько меток могут встречаться вместе, требуют другой формулировки вывода.

Реальная реализация

Гипотетический классификатор растений присваивает баллы трем видам на основе измерений листьев. Softmax преобразует эти оценки в вероятности, такие как 0,6, 0,3 и 0,1, сумма которых равна единице; наибольшая вероятность дает предсказанный класс.

Модель сортировки поддержки возвращает вероятности для выставления счетов, доступа и технических категорий. Рецензент рассматривает путаницу по классам, поскольку высокая совокупная точность может скрывать низкую производительность для редкой категории.

Аналитик проверяет выходные данные Predict_proba scikit-learn вместе с классами_, чтобы убедиться, что столбцы вероятности соответствуют предполагаемым именам категорий, а не полагаются на предположения о положении столбцов.

Команда калибрует свои мультиклассовые вероятности на заранее заданном наборе, прежде чем использовать их для определения приоритетов ручной проверки. Класс с наибольшей вероятностью не является автоматически хорошо откалиброванным 70%-ным прогнозом.

Будущее регрессии Softmax для многоклассовой классификации

Мультиклассовые системы могут более прозрачно сообщать о качестве вероятности, сочетая прогнозы с проверками надежности каждого класса и сводками ошибок. Команды должны решить, будет ли результат способствовать единому автоматическому выбору, ранжированному короткому списку или человеческой проверке, поскольку каждое использование подразумевает разную цену ошибки. Мониторинг должен отслеживать состав классов и производительность в последующие периоды, особенно когда определения категорий меняются. Улучшения программного обеспечения могут облегчить доступ к диагностике, но вероятности по-прежнему требуют проверки на репрезентативных случаях. Понятный интерфейс может показать неопределенность, не предполагая при этом, что один класс-победитель определен просто потому, что он занял первое место.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Take the Softmax Regression for Multiclass Classification quiz

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое регрессия Softmax для многоклассовой классификации?

Регрессия Softmax расширяет логистическую регрессию на взаимоисключающие классы, присваивая каждому классу оценку и преобразуя все оценки в вероятности, сумма которых равна единице. Он обеспечивает интерпретируемое линейное правило принятия решений по шкале оценок, хотя его вероятностное качество и поведение, специфичное для класса, все еще требуют оценки.

Какому ограничению удовлетворяют вероятности softmax для одного случая во всех смоделированных классах?

Softmax делит каждую положительную экспоненциальную оценку на общую сумму, так что сумма вероятностей по классам равна единице.

Трехклассовая модель возвращает вероятности 0,6, 0,3 и 0,1. К какому классу относится обычное предсказание с максимальной вероятностью?

Обычный прогнозируемый класс имеет наибольшую вероятность, хотя затраты на принятие решения могут изменить политику.

Почему добавление одной и той же константы к каждому логиту класса оставляет вероятности softmax неизменными?

Добавление c умножает каждую экспоненту на exp(c), которая отменяется во время нормализации.

Что означает предположение о выходе суммы к одному в отношении целевой установки?

Softmax представляет взаимоисключающие вероятности классов; результаты с несколькими метками требуют другой формулировки.

Классификатор имеет высокую общую точность, но слабую полноту для редкой категории. Какой отчет поможет раскрыть это?

Метрики, специфичные для класса, показывают ошибки, скрытые агрегатом, в котором доминируют общие классы.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →