Техническое РУКОВОДСТВО

Измерение венчурного капитала и обучение PAC

Измерение VC измеряет емкость класса бинарной гипотезы, задавая вопрос, сколько точек он может разрушить, то есть навешивать всевозможные ярлыки.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее венчурного капитала и обучения PAC
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

В классической теории PAC это помогает определить, сколько примеров необходимо для заданной точности и достоверности, соединяя гибкость модели с гарантиями обобщения в наихудшем случае.

Глубокое погружение

Размерность VC измеряет емкость класса гипотез: сколько различных шаблонов маркировки он может создать на наборе точек. Класс разрушает набор из n точек, если для каждого из 2^n возможных способов присвоения этим точкам положительных или отрицательных меток некоторая гипотеза в классе воспроизводит эту точную маркировку. Размерность VC — это наибольшее число n, для которого можно разбить некоторый набор из n точек. Линейные классификаторы в 2D могут разрушить любые 3 точки в общем положении, но не могут разрушить каждую конфигурацию из 4 точек, поэтому их размерность VC равна 3. Обучение PAC основано на этом: он спрашивает, сколько обучающих примеров необходимо, чтобы с вероятностью не менее 1-дельта выученная гипотеза имела ошибку не более чем на эпсилон выше лучшей гипотезы в классе. В условиях независимого PAC репрезентативная граница сложности выборки для наихудшего случая имеет член, пропорциональный размерности VC, разделенный на квадрат эпсилона, а также доверительные, а иногда и логарифмические члены. Реализуемые настройки PAC имеют различную эпсилон-зависимость, поэтому формула зависит от предположений обучения. Это формализует компромисс между гибкостью модели и требованиями к данным: классу, который может представлять практически любую маркировку, требуется гораздо больше данных, прежде чем его эмпирическая эффективность будет надежно предсказывать его истинную производительность. Распространенным заблуждением является то, что размерность VC — это всего лишь количество параметров в модели; это не. Некоторые классы с бесконечными параметрами имеют конечную размерность VC, а некоторые модели с небольшим количеством параметров могут иметь удивительно высокую размерность VC. Теория венчурного капитала также представляет собой наихудший случай, не имеющий распределения, поэтому реальная производительность часто намного лучше, чем предполагают эти границы, особенно для современных чрезмерно параметризованных моделей, таких как глубокие нейронные сети.

Реальная реализация

Класс линейных классификаторов в 2D (прямые линии) имеет размерность VC 3, поскольку три точки, не лежащие на линии, могут быть помечены какой-либо линией всеми 8 возможными способами, но четыре точки не всегда можно разбить таким образом.

Однопороговый классификатор на реальной линии (предсказывает положительное значение, если x > t) имеет размерность VC 1, поскольку он может разрушить одну точку, но не две произвольные точки.

Границы PAC используются для обоснования того, почему машина опорных векторов с большим запасом (более низкой сложностью) может хорошо обобщать относительно небольшого количества помеченных примеров по сравнению с неограниченным, очень гибким классификатором.

Теоретически глубокие нейронные сети имеют огромные размеры VC, часто превышающие количество обучающих примеров, и это одна из причин, почему сами по себе классические границы PAC не могут объяснить наблюдаемое ими обобщение.

Будущее венчурного капитала и обучения PAC

Классические границы VC и PAC остаются основополагающими для понимания компромисса между емкостью и данными, но они, как известно, слишком пессимистичны для современных моделей глубокого обучения, огромное количество параметров которых подразумевает, что размеры VC намного превышают практические размеры обучающего набора, даже несмотря на то, что эти модели хорошо обобщаются на практике. Этот пробел стимулировал исследования альтернативных мер сложности, таких как границы, основанные на марже, сложность Радемахера и границы, основанные на нормах, которые пытаются объяснить обобщение в чрезмерно параметризованных режимах. Теория венчурного капитала сама по себе математически обоснована; Текущая работа направлена ​​на поиск более подходящих дополнительных рамок, а не на пересмотр определения измерения венчурного капитала.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Пройдите викторину «Измерение VC и обучение PAC»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое измерение венчурного капитала и обучение PAC?

Измерение VC измеряет емкость класса бинарной гипотезы, задавая вопрос, сколько точек он может разрушить, то есть навешивать всевозможные ярлыки. В классической теории PAC это помогает определить, сколько примеров необходимо для заданной точности и достоверности, соединяя гибкость модели с гарантиями обобщения в наихудшем случае.

Чтобы три пункта были разрушены классом бинарной гипотезы, что должен быть способен реализовать этот класс?

Разрушение означает, что любое возможное присвоение разметки для этого набора точек может быть достигнуто с помощью некоторой гипотезы в классе, а не только правильной классификации одной фиксированной разметки.

Сколько максимум точек можно разбить для прямолинейных бинарных классификаторов в двумерной плоскости?

В руководстве говорится, что линии в 2D могут разрушить любые 3 точки в общем положении, но не каждую конфигурацию из 4 точек, что дает размер VC, равный 3.

В независимой настройке PAC, описанной в руководстве, как стандартная граница выборки для наихудшего случая зависит от размера VC и эпсилона?

Классическая граница сложности выборки PAC масштабируется примерно пропорционально размерности VC, деленной на квадрат эпсилона, поэтому классы с более высокой емкостью требуют пропорционально большего количества данных для той же гарантии.

Почему говорят, что однопороговой классификатор на реальной линии имеет размерность VC 1?

Размерность VC связана с тем, какие метки может получить класс, а не с количеством параметров; пороговый классификатор может разрушить одну точку, но не может обеспечить каждую маркировку двух произвольных точек, давая размерность VC 1.

Согласно руководству, размерность VC — это то же самое, что и количество параметров в модели?

Руководство прямо называет это заблуждением, отмечая, что количество параметров и размерность VC могут существенно различаться в зависимости от того, как параметры взаимодействуют с пространством ввода.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →