ДалееСледующее руководство
OpenVINO для вывода аппаратного обеспечения Intel
Технический
Техническое РУКОВОДСТВО
Аппаратное обеспечение искусственного интеллекта выполняет числовые операции, используемые для обучения и запуска моделей.
Прослушайте это руководствоОзвучено ИИ · ~2 min
Процессоры, графические процессоры и специализированные ускорители имеют разные возможности в области вычислений, памяти, подключения и поддержки программного обеспечения. Пиковая арифметическая спецификация сама по себе не позволяет предсказать производительность приложения.
Начните с рабочей нагрузки. Обучение, короткий интерактивный вывод, большой пакетный вывод и обработка на устройстве могут нагружать различные ресурсы. Матричная арифметика может быть важна, но перемещение весов и промежуточные данные также могут доминировать над требуемым временем или энергией. Проверьте объем памяти и пропускную способность наряду с вычислениями. Модель должна соответствовать рабочим буферам, кэшированному состоянию и параллельным запросам. Выполнение на нескольких устройствах увеличивает затраты на связь и усложняет программное обеспечение, поэтому совокупная память не эквивалентна автоматически одному простому пулу. Числовые форматы влияют как на скорость, так и на представление. Более низкая точность может уменьшить объем памяти и обеспечить более быстрые операции на совместимом оборудовании, но модели и задачи требуют оценки изменений точности. Аппаратная поддержка, ядра и среда выполнения определяют, действительно ли используется объявленная возможность. Сравните системы, использующие воспроизводимые рабочие нагрузки, с заявленными размерами пакетов, длиной входных данных, точностью и версиями программного обеспечения. Измеряйте задержку, пропускную способность, мощность и стоимость полезной задачи. Демонстрация поставщика может дать информацию для расследования, но для принятия решения о покупке или развертывании необходимы доказательства предполагаемого применения.
04Рабочий пример
Создайте модель с одним миллиардом параметров, хранящихся по 16 бит каждый.
Одни только веса занимают примерно два миллиарда байт, или 2 ГБ в десятичных единицах. Сюда не входят активации, кэши, буферы времени выполнения и накладные расходы платформы.
Используйте оценку в качестве отправной точки, а затем измерьте фактическую память для предполагаемой конфигурации обслуживания.
Что это показывает
Эта арифметика дает оценку веса хранилища, а не полные требования к оборудованию или заявленную производительность.
Измеряйте пиковую нагрузку на память, одновременно обслуживая реалистичные одновременные запросы.
Сравните одну и ту же модель и точность на возможном оборудовании с идентичными настройками рабочей нагрузки.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Нет. Память, поддерживаемые числовые форматы, программное обеспечение, пакетная обработка и остальная часть пути запроса могут ограничивать реальное время ответа.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
OpenVINO для вывода аппаратного обеспечения Intel
Технический