Slurm для учебных кластеров по искусственному интеллекту

It matters because it reliably distributes massive training runs across thousands of GPUs.

Slurm (простая утилита Linux для управления ресурсами) возникла в области суперкомпьютеров и теперь используется во многих крупнейших в мире кластерах обучения искусственному интеллекту. Пользователи отправляют пакетные сценарии с помощью sbatch, запрашивают ресурсы, такие как узлы и графические процессоры, с помощью таких директив, как --gres=gpu:8, и ставят в очередь Slurm, расставляют приоритеты и запускают работу. Его средство запуска запуска запускает скоординированные процессы на узлах, что естественным образом сочетается с распределенными платформами, такими как PyTorch DDP и NCCL. Slurm отслеживает учет ресурсов, обеспечивает соблюдение ограничений справедливого распределения и разделов, а также управляет планированием обратной засыпки для распределения небольших заданий в пробелы. При обучении пограничной модели команды полагаются на Slurm для управления тысячами графических процессоров, перезапуска с контрольных точек после сбоев узлов и резервирования выделенных мощностей для длительных многонедельных запусков.