Техническое РУКОВОДСТВО

Мониторинг использования графического процессора с помощью nvidia-smi и DCGM

nvidia-smi и NVIDIA DCGM раскрывают информацию об активности GPU, памяти, мощности, температуре, тактах и состоянии здоровья для диагностики работающей нагрузки.

Прослушайте это руководствоОзвучено ИИ · ~3 min

На этой странице3 минуты чтения
  1. Обзор
  2. Глубокое погружение
  3. Реальная реализация
  4. Будущее мониторинга использования GPU с nvidia-smi и DCGM
  5. Применение на практике
  6. Продолжайте исследовать
  7. Часто задаваемые вопросы

Обзор

Один процент использования не объясняет производительность: сравните несколько метрик с запросом или пропускной способностью обучения и профилируйте реальное узкое место.

Глубокое погружение

NVIDIA's nvidia-smi reports device status and utilization summaries, while DCGM provides monitoring, health, and profiling functions suited to managed systems and clusters. The GPU utilization percentage in nvidia-smi is the share of the recent sample period during which one or more kernels were executing. It is not the percentage of theoretical FLOPs achieved. Memory utilization is a separate activity measure and is not the same as the amount of VRAM allocated. A device can be active nearly all the time yet fail to deliver expected throughput. Kernels may be memory-bound, use few compute units, wait on dependencies, or perform operations that do not use specialized tensor hardware. Conversely, low utilization between steps can point to slow input decoding, small batches, CPU preprocessing, synchronization, or an undersized workload. Compare GPU metrics with tokens or samples per second, step time, latency, and host CPU activity. Memory capacity and memory traffic also answer different questions. nvidia-smi reports used memory in units such as MiB; DCGM profiling can report whether device-memory traffic is active. A high memory-activity ratio can signal bandwidth pressure, while high allocated capacity may simply reflect caching. Watch memory growth over time for leaks and include reserved memory from the framework. Power, clock frequency, and temperature help explain throttling or power limits. ECC and health diagnostics can reveal hardware or communication issues. DCGM's profiling metrics are interval averages; they do not identify an individual slow kernel or source line. Use a profiler when aggregate telemetry suggests a bottleneck but cannot locate it. Sample cadence matters. A short burst can disappear in a long reporting interval, and container or virtualization boundaries may affect which processes are visible. Monitor representative steady-state and burst workloads, and correlate metrics with logs and job phases. Use the tools to form a hypothesis, then verify it with performance profiling.

Реальная реализация

Оператор проверяет память процессов GPU, температуру, такты, мощность и использование во время длительного обучения.

Панель управления кластера собирает метрики DCGM, чтобы сравнить активность SM, активность тензорных труб, трафик DRAM и использование межсоединений между узлами.

Аналитик данных видит низкую активность GPU между пакетами и профилирует загрузку данных перед увеличением вычислений модели.

Инженер отделяет объём памяти, выделенный в МиБ, от процента активности памяти при оценке ёмкости и пропускной способности GPU.

Будущее мониторинга использования GPU с nvidia-smi и DCGM

Инструменты мониторинга GPU продолжат добавлять аппаратные счётчики и сигналы состояния на уровне флота. Лучшие панели управления могут связывать телеметрию с рабочими нагрузками, этапами модели и потреблением энергии. Суммарная загрузка всё равно потребует интерпретации, поскольку ядра, трафик памяти и коммуникации создают разные узкие места. Команды должны сочетать снимки DCGM или nvidia-smi с профайлерами фреймворков и пропускной способностью приложений для практичной диагностики. Корреляция отобранных сигналов с трассами приложений и фазами работы. Перепроверяйте определения метрик, когда меняются инструменты, драйверы или поколения устройств. Документируйте окна выборки для каждого устройства.

Применение на практике

Почему это важно

  • Стоимость и бюджет. Архитектурные решения влияют на производительность и эксплуатационные расходы на протяжении многих лет.
  • Более четкие решения. Техническое образование помогает командам выбрать правильный стек, а не только самый новый.
  • Контроль качества. Лучший инженерный выбор снижает вероятность возникновения проблем с надежностью на производстве.

Следите за

  • Оптимизация одного теста может скрыть более широкие недостатки системы.
  • Затраты на инфраструктуру и техническое обслуживание часто недооцениваются.
  • Пробелы в безопасности и наблюдаемости могут увеличиваться по мере усложнения систем.

Следующие шаги

  1. Определите целевые показатели задержки, качества и стоимости перед внедрением.
  2. Тестирование при реалистичной нагрузке и условиях данных.
  3. Мониторинг прибора на наличие ошибок, дрейфа и влияния пользователя.
  4. Перед масштабированием подготовьте пути отката и реагирования на инциденты.

Продолжайте исследовать

Бесплатная рассылка

Получайте ежедневный AI-обзор

Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.

Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.

Проверьте себя

Тест «Мониторинг загрузки GPU с помощью nvidia-smi и DCGM»

Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.

Начать тест

Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование

Часто задаваемые вопросы

Что такое мониторинг загрузки GPU с помощью nvidia-smi и DCGM?

nvidia-smi и NVIDIA DCGM раскрывают активность GPU, память, мощность, температуру, частоту и состояние здоровья для диагностики работающей нагрузки. Одна процентная величина загрузки не объясняет производительность: сравнивайте несколько метрик с пропускной способностью запросов или обучения и профилируйте реальное узкое место.

Что примерно сообщает о загрузке GPU nvidia-smi?

Сообщаемая загрузка – это измерение активности во времени, а не достигнутая вычислительная эффективность.

Как отличается использование памяти от потребления памяти?

Активность памяти и выделенная ёмкость измеряют разное поведение.

GPU сообщает высокую загрузку, но низкую пропускную способность. Какое правдоподобное объяснение?

Непрерывная активность ядра не гарантирует высокую арифметическую эффективность.

What might low GPU activity between training steps indicate?

The GPU may be waiting for CPU preprocessing, data transfer, or synchronization.

Which DCGM metric can help assess memory-traffic activity?

DCGM profiling includes a measure of device memory traffic activity.

Продолжайте учиться

Связанные руководства

Другие руководства, выбранные по этой теме

Получите бесплатный AI-сертификатКороткий бесплатный курс и экзамен. Без стоимости, без карты. Около 2,5 часов.Начать бесплатно →