ДалееСледующее руководство
Экономичное обучение
Технический
Техническое РУКОВОДСТВО
Измерение VC измеряет емкость класса бинарной гипотезы, задавая вопрос, сколько точек он может разрушить, то есть навешивать всевозможные ярлыки.
Прослушайте это руководствоОзвучено ИИ · ~3 min
В классической теории PAC это помогает определить, сколько примеров необходимо для заданной точности и достоверности, соединяя гибкость модели с гарантиями обобщения в наихудшем случае.
Размерность VC измеряет емкость класса гипотез: сколько различных шаблонов маркировки он может создать на наборе точек. Класс разрушает набор из n точек, если для каждого из 2^n возможных способов присвоения этим точкам положительных или отрицательных меток некоторая гипотеза в классе воспроизводит эту точную маркировку. Размерность VC — это наибольшее число n, для которого можно разбить некоторый набор из n точек. Линейные классификаторы в 2D могут разрушить любые 3 точки в общем положении, но не могут разрушить каждую конфигурацию из 4 точек, поэтому их размерность VC равна 3. Обучение PAC основано на этом: он спрашивает, сколько обучающих примеров необходимо, чтобы с вероятностью не менее 1-дельта выученная гипотеза имела ошибку не более чем на эпсилон выше лучшей гипотезы в классе. В условиях независимого PAC репрезентативная граница сложности выборки для наихудшего случая имеет член, пропорциональный размерности VC, разделенный на квадрат эпсилона, а также доверительные, а иногда и логарифмические члены. Реализуемые настройки PAC имеют различную эпсилон-зависимость, поэтому формула зависит от предположений обучения. Это формализует компромисс между гибкостью модели и требованиями к данным: классу, который может представлять практически любую маркировку, требуется гораздо больше данных, прежде чем его эмпирическая эффективность будет надежно предсказывать его истинную производительность. Распространенным заблуждением является то, что размерность VC — это всего лишь количество параметров в модели; это не. Некоторые классы с бесконечными параметрами имеют конечную размерность VC, а некоторые модели с небольшим количеством параметров могут иметь удивительно высокую размерность VC. Теория венчурного капитала также представляет собой наихудший случай, не имеющий распределения, поэтому реальная производительность часто намного лучше, чем предполагают эти границы, особенно для современных чрезмерно параметризованных моделей, таких как глубокие нейронные сети.
Класс линейных классификаторов в 2D (прямые линии) имеет размерность VC 3, поскольку три точки, не лежащие на линии, могут быть помечены какой-либо линией всеми 8 возможными способами, но четыре точки не всегда можно разбить таким образом.
Однопороговый классификатор на реальной линии (предсказывает положительное значение, если x > t) имеет размерность VC 1, поскольку он может разрушить одну точку, но не две произвольные точки.
Границы PAC используются для обоснования того, почему машина опорных векторов с большим запасом (более низкой сложностью) может хорошо обобщать относительно небольшого количества помеченных примеров по сравнению с неограниченным, очень гибким классификатором.
Теоретически глубокие нейронные сети имеют огромные размеры VC, часто превышающие количество обучающих примеров, и это одна из причин, почему сами по себе классические границы PAC не могут объяснить наблюдаемое ими обобщение.
Классические границы VC и PAC остаются основополагающими для понимания компромисса между емкостью и данными, но они, как известно, слишком пессимистичны для современных моделей глубокого обучения, огромное количество параметров которых подразумевает, что размеры VC намного превышают практические размеры обучающего набора, даже несмотря на то, что эти модели хорошо обобщаются на практике. Этот пробел стимулировал исследования альтернативных мер сложности, таких как границы, основанные на марже, сложность Радемахера и границы, основанные на нормах, которые пытаются объяснить обобщение в чрезмерно параметризованных режимах. Теория венчурного капитала сама по себе математически обоснована; Текущая работа направлена на поиск более подходящих дополнительных рамок, а не на пересмотр определения измерения венчурного капитала.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Измерение VC измеряет емкость класса бинарной гипотезы, задавая вопрос, сколько точек он может разрушить, то есть навешивать всевозможные ярлыки. В классической теории PAC это помогает определить, сколько примеров необходимо для заданной точности и достоверности, соединяя гибкость модели с гарантиями обобщения в наихудшем случае.
Разрушение означает, что любое возможное присвоение разметки для этого набора точек может быть достигнуто с помощью некоторой гипотезы в классе, а не только правильной классификации одной фиксированной разметки.
В руководстве говорится, что линии в 2D могут разрушить любые 3 точки в общем положении, но не каждую конфигурацию из 4 точек, что дает размер VC, равный 3.
Классическая граница сложности выборки PAC масштабируется примерно пропорционально размерности VC, деленной на квадрат эпсилона, поэтому классы с более высокой емкостью требуют пропорционально большего количества данных для той же гарантии.
Размерность VC связана с тем, какие метки может получить класс, а не с количеством параметров; пороговый классификатор может разрушить одну точку, но не может обеспечить каждую маркировку двух произвольных точек, давая размерность VC 1.
Руководство прямо называет это заблуждением, отмечая, что количество параметров и размерность VC могут существенно различаться в зависимости от того, как параметры взаимодействуют с пространством ввода.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Экономичное обучение
Технический