СледваСледващо ръководство
GPTQ и AWQ Квантоване след обучение
технически
Техническо РЪКОВОДСТВО
DeepSpeed и Megatron Training Stacks
DeepSpeed (Microsoft) и Megatron-LM (NVIDIA) са софтуерните стекове, които правят моделите за обучение с милиарди параметри в хиляди графични процесори действително осъществими.
Чуйте това ръководствоAI-разказан · ~2 min
На тази страница2 минути четене
Преглед
Без тях днешните гранични модели просто не биха могли да се поберат в паметта или да завършат обучението за разумно време.
Дълбоко гмуркане
Обучението на голям модел на един GPU е невъзможно, защото теглата, градиентите и състоянията на оптимизатора не пасват. Тези стекове разделят работата между много графични процесори. Megatron-LM е пионер в тензорния паралелизъм, нарязвайки индивидуалните умножения на матрици вътре във всеки слой между GPU, плюс конвейерния паралелизъм, който поставя различни слоеве на различни GPU. Характерният принос на DeepSpeed е ZeRO (оптимизатор за нулево излишък), който разделя състоянията на оптимизатора, градиентите и параметрите между графичните процесори, вместо да ги репликира, намалявайки драматично паметта на GPU. Двете често се комбинират (Megatron-DeepSpeed) за обучение на модели като BLOOM-176B и Megatron-Turing NLG. Те също така добавят смесена прецизност, контролни точки за активиране и разтоварване към CPU или NVMe, така че огромните модели се обучават на ограничен хардуер.
Внедряване в реалния свят
Обучение на отворения многоезичен модел BLOOM-176B с помощта на комбинирания стек Megatron-DeepSpeed в стотици GPU.
Microsoft и NVIDIA обучават NLG модела Megatron-Turing с 530 милиарда параметри с 3D паралелизъм.
ZeRO-Offload позволява на изследователите да прецизират модели с много милиарди параметри на GPU на една работна станция чрез прехвърляне на състоянията на оптимизатора към CPU RAM.
Използване на контролни точки за активиране в тези стекове, за да се поберат по-дълги контекстни прозорци чрез повторно изчисляване на активациите, вместо да се съхраняват всички.
Бъдещето на DeepSpeed и Megatron Training Stacks
Очаквайте по-тясна интеграция с родния FSDP на PyTorch (Fully Sharded Data Parallel), който погълна много ZeRO идеи, размивайки границата между изследователските стекове и основните рамки. Подходите, управлявани от компилатор, и автоматичните програми за планиране на паралелизъм имат за цел да премахнат ръчната настройка. Тъй като тренировъчните клъстери растат към стотици хиляди ускорители, толерантността към грешки, еластичното мащабиране и припокриващата се комуникация с изчисленията се превръщат в доминиращи инженерни граници, заедно с поддръжката за нов хардуер като NVIDIA Blackwell и персонализирани чипове за обучение.
Прилагайки го на практика
Защо има значение
- Разходи и бюджет. Архитектурните решения стимулират производителността и оперативните разходи в продължение на години.
- По-ясни решения. Техническото образование помага на екипите да изберат правилния стек, а не само най-новия.
- Контрол на качеството. По-добрият инженерен избор намалява инцидентите, свързани с надеждността в производството.
Внимавайте за
- Оптимизирането на един бенчмарк може да скрие по-широки системни слабости.
- Разходите за инфраструктура и поддръжка често се подценяват.
- Пропуските в сигурността и видимостта могат да нарастват, когато системите стават по-сложни.
Следващи стъпки
- Определете целите за латентност, качество и разходи преди внедряването.
- Бенчмарк при реалистични условия на натоварване и данни.
- Мониторинг на инструмента за грешки, отклонение и въздействие върху потребителя.
- Подгответе пътеките за връщане назад и реакция на инцидент преди мащабиране.
Продължете да изследвате
Безплатен бюлетин
Получавайте дневния AI бюлетин
Три проверени AI истории всяка делнична сутрин, написани на достъпен език. Безплатно завинаги, без реклами.
Един имейл всеки делничен ден. Отписване с едно кликване. Никога не продаваме и не споделяме вашия имейл адрес.
Тествайте себе си
Take the DeepSpeed and Megatron Training Stacks quiz
Незабавна обратна връзка за всеки отговор и сертификат за споделяне с подлежащ на проверка идентификационен номер, след като преминете курс.
Подкрепете безплатното AI образование. AI Understanding е 501(c)(3) с нестопанска цел — без реклами, без платен достъп, никога. Направете дарение
Често задавани въпроси
Какво е DeepSpeed и Megatron Training Stacks?
DeepSpeed (Microsoft) и Megatron-LM (NVIDIA) са софтуерните стекове, които правят моделите за обучение с милиарди параметри в хиляди графични процесори действително осъществими. Без тях днешните гранични модели просто не биха могли да се поберат в паметта или да завършат обучението за разумно време.
Каква е основната цел на ZeRO оптимизатора на DeepSpeed?
ZeRO (Оптимизатор на нулево излишък) елиминира излишъка на паметта чрез разделяне на състоянията на оптимизатора, градиентите и параметрите между GPU, вместо да ги репликира на всяко устройство.
Тензорният паралелизъм, както е пионер в Megatron-LM, как разделя модела?
Тензорният паралелизъм разделя математиката вътре в един слой (като голямо матрично умножение) в множество графични процесори, което е вътрешнослойно разделяне.
Кой ZeRO етап осигурява най-голямо спестяване на памет чрез шардинг на самите параметри на модела?
ZeRO Stage 3 разделя параметрите в допълнение към градиентите и състоянията на оптимизатора, като ги събира при поискване, което дава най-голямото намаляване на паметта.
Какво променя „контролната точка за активиране“, за да спести памет по време на обучение?
Контролната точка за активиране съхранява по-малко междинни активации и ги изчислява повторно по време на обратното разпространение, разменяйки допълнително изчисление за намалена памет.
Защо комбинирането на тези техники често се нарича „3D паралелизъм“?
3D паралелизмът подрежда три ортогонални стратегии: паралелизъм на данни, паралелизъм на тензор (вътрешен слой) и паралелизъм на конвейер (между слой).
Продължавай да учиш
Свързани ръководства
Още ръководства, избрани за тази тема