Настройка гиперпараметров
Гиперпараметры — это настройки, которые вы выбираете перед обучением, например скорость обучения или размер модели, которые модель не изучает самостоятельно.
Обзор
Tuning them well is often the difference between a mediocre model and a great one.
Глубокое погружение
Параметры модели (веса) извлекаются из данных во время обучения. Гиперпараметры разные: это ручки, которые вы устанавливаете заранее, которые управляют тем, как происходит обучение, например, скорость обучения, размер пакета, количество слоев, сила регуляризации и продолжительность обучения. Их нельзя оптимизировать напрямую с помощью градиентного спуска, поэтому вы ищете хорошие значения, обучая множество моделей-кандидатов и сравнивая их с проверочным набором. Самый простой подход — поиск по сетке, когда каждая комбинация пробуется в заранее определенной сетке, но он ужасно масштабируется. Случайный поиск часто позволяет быстрее найти хорошие настройки путем выборки комбинаций. Более продвинутая байесовская оптимизация строит вероятностную модель того, какие настройки выглядят многообещающе, и фокусирует поиск именно на них. Скорость обучения обычно является единственным наиболее важным гиперпараметром, который нужно получить правильно.
Техническая информация
Поскольку гиперпараметры управляют процессом обучения, а не регулируются им, вы рассматриваете настройку как внешний цикл оптимизации, охватывающий обучение. Каждое испытание обучает модель с одной конфигурацией и оценивает ее на основе имеющихся данных проверки. Байесовские методы, например методы, использующие гауссовские процессы или древовидные оценщики Парцена, моделируют взаимосвязь между конфигурациями и оценкой проверки, а затем выбирают следующее испытание, чтобы сбалансировать исследование неопределенных регионов и использование заведомо хороших. Схемы ранней остановки, такие как Hyperband, заранее устраняют неэффективные испытания, чтобы использовать вычислительные ресурсы там, где это необходимо. Важно отметить, что окончательный набор тестов должен оставаться нетронутым во время настройки, чтобы избежать утечки информации.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее настройки гиперпараметров
Ручная настройка и настройка на основе сетки уступают место автоматизированному машинному обучению (AutoML) и более разумному поиску, такому как байесовская оптимизация и Hyperband, которые используют вычисления гораздо эффективнее. По мере роста базовых моделей полное переобучение за одно испытание становится непомерно дорогим, поэтому внимание переключается на более дешевые прокси, законы масштабирования, которые предсказывают хорошие настройки из небольших серий, и настройку облегченных адаптеров вместо целых моделей. Ожидайте, что настройка станет все более автоматизированной и бюджетной, с инструментами, которые явно соотносят затраты на поиск с ожидаемой прибылью.
Реальная реализация
Охват скорости обучения на несколько порядков, чтобы найти значение, при котором сеть обучается быстро, не расходясь.
Использование случайного поиска для настройки глубины дерева, количества деревьев и скорости обучения для модели повышения градиента табличных данных.
Выполнение байесовской оптимизации для совместной настройки силы регуляризации и размера пакета для глубокой сети при ограниченном бюджете графического процессора.
Применение Hyperband для кратковременного обучения десятков конфигураций, а затем предоставление большего количества эпох только наиболее многообещающим выжившим.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Hyperparameter Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Точная настройка
Часто задаваемые вопросы
What is Hyperparameter Tuning?
Гиперпараметры — это настройки, которые вы выбираете перед обучением, например скорость обучения или размер модели, которые модель не изучает самостоятельно. Хорошая их настройка часто помогает отличить посредственную модель от отличной.
Что отличает гиперпараметр от обычного параметра модели?
Веса (параметры) извлекаются из данных во время обучения. Гиперпараметры, такие как скорость обучения или количество слоев, выбираются заранее и контролируют ход обучения.
Какой гиперпараметр обычно считается наиболее эффективным для настройки глубокого обучения?
Скорость обучения сильно влияет на то, сходится ли модель и насколько быстро она сходится. Слишком высоко и обучение расходится; слишком низко, и он ползет или застревает.
Почему случайный поиск часто превосходит поиск по сетке при настройке гиперпараметров?
Поиск по сетке тратит испытания на неважные измерения. Случайный поиск исследует пространство более эффективно и часто достигает хороших конфигураций с меньшим количеством попыток.
Как байесовская оптимизация выбирает следующую конфигурацию гиперпараметров?
Байесовская оптимизация моделирует взаимосвязь между конфигурациями и оценками проверки, а затем выбирает следующее испытание, чтобы сбалансировать исследование неопределенных регионов с использованием перспективных.
Почему окончательный набор тестов должен оставаться нетронутым во время настройки гиперпараметра?
Настройка выбирает настройки, которые лучше всего смотрятся на любых данных, которые вы оцениваете. Если это тестовый набор, ваша заявленная производительность завышена. Вместо этого при настройке используется отдельный набор проверки.