Параллелизм данных
Параллелизм данных ускоряет обучение одной модели за счет ее репликации на множество графических процессоров, при этом каждый графический процессор обрабатывает отдельный фрагмент пакета данных.
Обзор
It is the workhorse technique that lets teams scale to dozens or thousands of accelerators.
Глубокое погружение
При параллелизме данных каждый графический процессор хранит идентичную копию весов модели, но обрабатывает отдельную мини-партию обучающих примеров. Каждое устройство независимо вычисляет прямой и обратный проход, создавая свой собственный набор градиентов. Перед обновлением весов градиенты усредняются по всем графическим процессорам с использованием операции связи с полным сокращением, поэтому каждая реплика остается синхронизированной и ведет себя так, как если бы она обучалась на одном большом объединенном пакете. Это эффективно увеличивает пропускную способность: 8 графических процессоров могут обрабатывать примерно в 8 раз больше данных за шаг. Загвоздка в том, что каждый графический процессор должен соответствовать всей модели, ее градиентам и состоянию оптимизатора в памяти, поэтому простой параллелизм данных не помогает, когда модель слишком велика для одного устройства.
Техническая информация
Ключевой операцией является all-reduce, которая суммирует градиенты между устройствами и перераспределяет результат. Функция Ring all-reduce, используемая такими библиотеками, как NCCL и Horovod, передает фрагменты градиента по логическому кольцу, поэтому общий обмен данными не зависит от количества графических процессоров. DistributedDataParallel PyTorch перекрывает эту связь с обратным проходом, запуская синхронизацию градиента для ранних слоев, в то время как более поздние уровни все еще выполняют вычисления, скрывая большую часть задержки в сети.
Стратегическое воздействие
Стоимость и бюджет
Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
Более четкие решения
Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
Контроль качества
Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.
Будущее параллелизма данных
Чистый параллелизм данных все чаще сочетается с сегментированием и параллелизмом моделей в гибридные стратегии «nD-параллелизма» для моделей с триллионом параметров. Ожидайте более разумного градиентного сжатия, асинхронной и перекрывающейся связи, а также комплексного сокращения с учетом топологии, которое использует быстрый NVLink внутри узла и более медленный InfiniBand между узлами. По мере роста кластеров снижение соотношения между коммуникацией и вычислениями остается основной инженерной задачей, позволяющей обеспечить занятость тысяч графических процессоров.
Реальная реализация
Обучение классификатора изображений ResNet на 8 графических процессорах на одном сервере с использованием PyTorch DistributedDataParallel, при этом каждый графический процессор обрабатывает 32 из пакета из 256 изображений.
Масштабирование предварительной тренировки BERT на сотнях графических процессоров с помощью Horovod с использованием кольцевого сокращения для синхронизации градиентов на каждом этапе.
Точная настройка модели рекомендаций в кластере с несколькими узлами, где каждый узел обрабатывает разные сегменты взаимодействия с пользователем.
Использование MirroredStrategy TensorFlow для распространения обучения модели машинного зрения на несколько графических процессоров на одной рабочей станции с минимальными изменениями кода.
Риски и ограничения
Оптимизация одного теста может скрыть более широкие недостатки системы.
Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.
Дорожная карта реализации
Определите целевые показатели задержки, качества и стоимости перед внедрением.
Тестирование при реалистичной нагрузке и условиях данных.
Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
Перед масштабированием подготовьте пути отката и реагирования на инциденты.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Data Parallelism quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
Управление данными ИИ
Часто задаваемые вопросы
What is Data Parallelism?
Параллелизм данных ускоряет обучение одной модели за счет ее репликации на множество графических процессоров, при этом каждый графический процессор обрабатывает отдельный фрагмент пакета данных. Это «рабочая лошадка», позволяющая командам масштабироваться до десятков или тысяч ускорителей.
Что содержит каждый графический процессор при стандартном параллелизме данных?
Каждый графический процессор хранит полную копию модели и обрабатывает отдельную часть пакета данных, что делает его параллелизмом «данных», а не параллелизмом моделей.
Какая операция связи обеспечивает синхронизацию реплик модели на каждом этапе?
После каждого обратного прохода градиенты объединяются на всех устройствах посредством все-сокращения (обычно суммируются, а затем усредняются), поэтому каждая реплика применяет одно и то же обновление.
Каково основное ограничение простого параллелизма данных?
Поскольку каждый графический процессор содержит полную копию всего, параллелизм данных не помогает, когда модель слишком велика, чтобы поместиться на одном устройстве.
Почему кольцевое сокращение привлекательно для большого количества графических процессоров?
Функция Ring All-Reduce передает фрагменты градиента по логическому кольцу, поэтому общая пропускная способность, которую отправляет каждый графический процессор, остается постоянной независимо от того, сколько графических процессоров участвует.
Как PyTorch DistributedDataParallel скрывает задержку связи?
DDP начинает синхронизировать градиенты для более ранних слоев, в то время как более поздние слои все еще вычисляются, перекрывая сетевую связь с вычислениями.