Что случилось
The Register сообщает о расширяющемся переходе к нестандартному и альтернативному оборудованию для искусственного интеллекта. В его отчете рассказывается о модульной стоечной системе CS-4 от Cerebras, о растущей роли Marvell в разработке индивидуальных ускорителей, о продолжающемся использовании Google специализированных TPU и о разработке Waymo ускорителя машинного обучения для автономных транспортных средств. В отчете также описывается восстановление Microsoft некоторых функций настройки Windows и AI-мониторинга, но это отдельный второстепенный поток.
Отчет The Register от 24 августа посвящен тому, что его редакторы называют выходом за рамки доминирующей роли Nvidia в центрах обработки данных искусственного интеллекта. Поставщики все чаще распределяют рабочие нагрузки между различными типами микросхем вместо того, чтобы полагаться на один тип ускорителя. В качестве основной точки давления он представляет вывод или генерацию результатов на основе обученных моделей: поставщики хотят иметь высокие скорости токенов для помощников по кодированию и других интерактивных услуг, одновременно контролируя затраты на электроэнергию и оборудование для обслуживания запросов. Статья Регистра представляет собой стенограмму и анализ подкаста, поэтому ее следует воспринимать как отчет из этого издания, а не как независимо проверенную документацию по каждому техническому утверждению.
The Register сообщает, что Cerebras переходит от больших монолитных систем к стоечной конструкции CS-4. Ранее системы Cerebras размещали большой энергоемкий чип размером с пластину в автономном шасси с жидкостным охлаждением. Новый подход размещает три чипа в модульной стойке, что позволяет заменять вычислительные компоненты без замены соответствующего оборудования для подачи питания. The Register сообщает, что такая конструкция удваивает тактовую частоту, пропускную способность памяти и скорость ввода-вывода, при этом в стойке размещается в три раза больше кристаллов. В нем также говорится, что Cerebras имеет партнерские отношения с AWS и AMD, и что быстрая генерация токенов привлекла интерес для помощников по кодированию и других служб вывода.
В отчете описывается более широкая экосистема специализированных полупроводниковых процессоров вокруг гиперскейлеров: Google использует свои собственные тензорные процессоры примерно с 2015 года и полагается на Broadcom в разработке отдельных частей ускорителей, в то время как Marvell становится конкурентом в разработке специализированных XPU и подключений после создания портфеля интеллектуальной собственности за счет приобретений. В статье это рассматривается как способ для облачных компаний сравнить поставщиков или снизить зависимость от одного партнера по проектированию, но не документируется конкретный новый контракт Google-Marvell; Утверждения о будущих стратегиях работы с клиентами и ценовом давлении являются комментариями, а не установленными фактами. Waymo представила специальный ускоритель машинного обучения, предназначенный для транспортных средств, поскольку громкость датчика и низкая задержка имеют значение при появлении препятствия. В Регистре говорится, что Waymo в значительной степени полагается на программируемые вентильные матрицы и может стремиться к большей плотности вычислений и упрощению разработки интегральной схемы для конкретного приложения, но не предоставляет никаких спецификаций, результатов испытаний, графика производства или показателей безопасности. Отдельно Microsoft тестирует подвижные панели задач Windows 11, более настраиваемые контекстные меню и видимость диспетчера задач для рабочих нагрузок нейронных процессоров.
Подробности об источнике: theregister.com ↗
Почему это важно
Этот сдвиг может сделать инфраструктуру искусственного интеллекта менее зависимой от одного класса графических процессоров Nvidia и сделать больший акцент на аппаратном обеспечении, предназначенном для конкретных рабочих нагрузок вывода. Более быстрое время отклика, снижение эксплуатационных расходов, повышение энергоэффективности и более тесная интеграция с датчиками — вот практические цели, описанные The Register. В отчете не утверждается, что какая-либо альтернатива значительно превзошла Nvidia в реальных условиях применения.
Практическая значимость заключается в том, что производительность ИИ определяется не только моделью. Отчеты Регистра показывают, что поставщики оптимизируют аппаратное обеспечение в соответствии с определенными ограничениями: скорость генерации токенов для интерактивных инструментов, электропитание и охлаждение для стоек центров обработки данных, а также задержка для управления транспортными средствами. Если эти проекты будут работать в больших масштабах, компании смогут выбирать разные ускорители для обучения, больших объемов вывода, запросов премиум-класса с низкой задержкой и периферийных рабочих нагрузок. Это сделало бы рынок инфраструктуры искусственного интеллекта более специализированным и могло бы предоставить клиентам больше альтернатив универсальным графическим системам.
Редизайн стойки, о котором сообщает Cerebras, подчеркивает эксплуатационную проблему, которую можно упустить из виду в заголовках заявлений о производительности. The Register сообщает, что более ранние системы потребляли около 15 киловатт для чипа и объединяли вычисления с оборудованием подачи питания в большом шасси. Модульная стойка может сделать ремонт и модернизацию менее трудоемкими, даже если кремний остается необычайно энергоемким. Для операторов центров обработки данных удобство обслуживания, прокладка кабелей, охлаждение и возможность замены одного вышедшего из строя компонента могут иметь такое же значение, как и пиковая пропускная способность. Источник не проверяет независимо сообщаемые показатели мощности или производительности, поэтому эти преимущества остаются заявлениями, требующими технической проверки.
Более широкая база поставщиков может повлиять на переговорную силу и инвестиционные решения. The Register предполагает, что облачные компании часто используют сторонние фирмы, занимающиеся интеллектуальной собственностью, для менее отличительных частей заказных чипов, концентрируя при этом внутренние разработки на функциях, имеющих отношение к их услугам. Конкуренция между Broadcom и Marvell может дать гиперскейлерам другой путь проектирования, но заказной кремний также создает обязательства по программному обеспечению и поддержке. Чип, эффективный для одной рабочей нагрузки, может оказаться трудным для программирования, приобретения или плохо подходить для другой. В отчете не проводится сравнение затрат с системами Nvidia и нет доказательств того, что клиенты переходят на них в широком масштабе. В примере Waymo специальное оборудование искусственного интеллекта подключается к развертыванию, чувствительному к безопасности, а не только к экономике центра обработки данных: низкая задержка имеет значение, когда транспортное средство реагирует на входной сигнал датчика, а удаленное вмешательство человека не является идеальной заменой немедленной бортовой обработки. Это не демонстрирует повышение безопасности; нет независимой оценки, сравнения частоты отказов или нормативной оценки. Более узкий вывод заключается в том, что автономные транспортные средства дают повод для разработки кремния с учетом обработки датчиков и времени отклика, в то время как влияние на общественность зависит от проверки в реальных условиях эксплуатации.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Что посмотреть дальше
Ключевыми тестами являются общедоступная техническая документация, независимые тесты и свидетельства масштабного использования клиентами. Посмотрите, дойдут ли до производства новые конструкции стоек Cerebras, специальные ускорители, поддерживаемые Marvell, и автомобильные чипы Waymo, и перевешивают ли их преимущества затраты на программное обеспечение, цепочку поставок и обслуживание. Изменения Windows, внесенные Microsoft, также следует оценивать по общедоступности и по тому, улучшают ли они пользовательский контроль, а не просто добавляют дополнительный мониторинг системы.
Сначала найдите основные технические материалы от Cerebras, Waymo, Google, Marvell или их клиентов. Полезными доказательствами могут быть документы по архитектуре, измерения мощности, поддержка программного обеспечения, состояние производства и четко определенные тесты рабочих нагрузок. Отчет Регистра представляет собой заслуживающую внимания карту участвующих компаний, но не устанавливает наличие, цены, объем клиентов или независимую деятельность. Эти недостающие детали определяют, являются ли разработки отраслевыми шагами или в основном инженерными планами.
Во-вторых, сравнивайте подобное с подобным. Показатели количества токенов в секунду могут варьироваться в зависимости от размера модели, пакетной обработки, точности, длины контекста и количества одновременных пользователей. Пользовательский ускоритель может отлично подойти для одной узкой схемы вывода и менее полезен для общих рабочих нагрузок. Следите за независимыми тестами, измеряющими пропускную способность, задержку ответа, энергию на сгенерированный токен, использование, надежность и общую стоимость владения по сравнению с современными системами графического процессора. Без этого контекста заявления о более быстром или более дешевом ИИ по-прежнему трудно оценить. В-третьих, проследите за коммерческими отношениями: The Register сообщает о партнерстве Cerebras с AWS и AMD и описывает Marvell как вступившую в область, в которой ранее доминировали Broadcom и внутренние команды гиперскейлеров. Следующим важным доказательством будет то, производят ли эти отношения общедоступные услуги, именованные развертывания или повторные заказы. Ожидание в отчете о том, что AWS или службы AMD могут использовать оборудование Cerebras, является прогнозным комментарием, а не подтвержденным внедрением, и не должно рассматриваться как таковое.
Наконец, отдельно отслеживайте реализацию автомобиля Waymo и изменения программного обеспечения Microsoft. Для Waymo значимые вопросы заключаются в том, установлен ли ускоритель на серийных автомобилях, как он справляется с рабочими нагрузками датчиков, какие существуют резервные системы и какая проверка безопасности была завершена. The Register сообщает, что для Windows движение панели задач находится в канале Release Preview и разрабатывается улучшенная видимость процессов NPU, но общедоступное время и окончательное поведение могут измениться. Ни один из потоков не должен считаться завершенным до тех пор, пока компании не опубликуют информацию о стабильной доступности и независимые пользователи не смогут оценить результаты.