Исследование показало, что языковые модели скрытой диффузии нуждаются в разных стратегиях обслуживания

Что случилось

Исследователи охарактеризовали поведение языковой модели с маскировочной диффузией при одновременной нагрузке на реальное оборудование и обнаружили, что ее требования к задержке и пакетной обработке отличаются от потребностей традиционных авторегрессионных языковых моделей.

В документе, представленном arXiv 24 ​​августа, исследуются языковые модели маскированной диффузии, или dLLM. В отличие от авторегрессионных систем, которые генерируют текст последовательно, dLLM могут одновременно шумоподавлять несколько токенов. Авторы утверждают, что эта разница делает рискованным проектирование систем обслуживания dLLM путем простого переноса предположений из обслуживания авторегрессионной модели. Их основной вклад – это эмпирическая характеристика при одновременной нагрузке, а не чисто теоретическое обсуждение. Таким образом, в статье вопрос обслуживания строится вокруг эксплуатационных последствий этого механизма генерации. Его сравнение касается поведения системы под нагрузкой, когда модель создает несколько токенов посредством многократного шумоподавления, а не следования по одному последовательному пути.

Исследователи использовали LLaDA-8B-Instruct с адаптером LoRA Discrete Diffusion Forcing на одном графическом процессоре NVIDIA H200. Они оценили установку на GSM8K и HumanEval. В документе сообщается, что сложность запроса дискретна: запросы делятся на 11 фиксированных уровней шага шумоподавления. Авторы проверили, может ли какой-либо сигнал предсказать уровень запроса до начала генерации, но лучшее зарегистрированное значение R2 составило 0,150, что указывает на слабую прогностическую эффективность в их эксперименте. Эти варианты определяют объем измерений. Сообщенные наблюдения описывают протестированную комбинацию модели, адаптера, графического процессора и тестов, а тест прогнозирования представлен как часть той же характеристики.

В исследовании также сообщается, что короткие бюджеты генерации могут скрывать изменчивость обслуживания. Согласно документу, бюджеты ниже 320 токенов могут отключать запросы до того, как станет заметен разброс задержек. В масштабе одного запроса только 24% времени настенных часов приходилось на вычисления графического процессора, а остальная часть — накладные расходы на диспетчеризацию на стороне ЦП. Когда запросы были пакетированы таким образом, что на каждый шаг шумоподавления распределялся один прямой проход, пропускная способность была в 16,0 раз выше при размере пакета 16, чем при базовом уровне для отправки каждого запроса. В статье также выведено правило тайм-аута пакета для синхронизированной пакетной обработки с фиксированным заполнением при приходе Пуассона. Вместе эти измерения связывают поведение на уровне запросов с планированием на уровне системы. Они описывают, на что тратится время, и как разделение работы между запросами меняет сообщаемую пропускную способность, сохраняя при этом анализ времени ожидания пакета привязанным к модели прибытия.

Подробности об источнике: arxiv.org ↗

Почему это важно

Результаты могут помочь инженерам разработать более эффективную инфраструктуру для языковых моделей, основанных на распространении, а также показать, что короткие тесты и предположения, унаследованные от авторегрессионного обслуживания, могут скрыть важные эксплуатационные затраты.

Практическое значение состоит в том, что обслуживание dLLM может потребовать параллелизма на другом уровне, чем обслуживание авторегрессии. По мнению газеты, ключевым элементом обмена результатами работы является каждый шаг шумоподавления, а не просто весь запрос. Это меняет то, как обслуживающая система должна думать о приеме, пакетной обработке и исключении, когда несколько запросов обрабатываются посредством общих вычислений. Результатом является системный урок о сопоставлении инфраструктуры с процессом создания модели. Это различие влияет на способ оценки обслуживающих компонентов. Прием, группирование и выселение — это не просто детали реализации в этой структуре; они являются частью адаптации системы к процессу шумоподавления модели.

Вывод о нагрузке на ЦП особенно важен для экономики развертывания и проектирования производительности. Если в этой тестируемой конфигурации на вычисления графического процессора тратится лишь небольшая часть времени настенных часов одного запроса, добавление большей мощности ускорителя само по себе не может устранить доминирующее узкое место. Сообщенный результат пакетной обработки предполагает, что координация запросов может амортизировать затраты на отправку, хотя результат статьи привязан к конкретной модели, адаптеру, оборудованию, рабочей нагрузке и базовому состоянию. Подразумевается необходимость изучить полный путь от поступления запроса до работы акселератора. Измерения, приведенные в статье, делают этот путь видимым в тестируемой установке, а результат группирования показывает, почему расположение накладных расходов имеет значение при оценке производительности.

В документе также ставится вопрос о том, как можно сравнивать dLLM. Короткий бюджет генерации может сделать задержку более постоянной, чем она есть на самом деле, поскольку запрос заканчивается до того, как появятся полные различия в шагах шумоподавления. Это важно для тех, кто сравнивает обслуживающие системы или оценивает видимое пользователю время отклика. Структурно авторы утверждают, что качество вывода не должно ухудшаться по мере увеличения размера партии согласно трем заявленным предположениям, но в отчетах источников точность GSM8K измерялась только в масштабе одного запроса, где она составляла от 74% до 76%. Это не обеспечивает неизменное качество при каждом условии дозирования. Именно поэтому в статье структурные рассуждения отделяются от измеренных данных. Предположения подтверждают заявленный аргумент авторов, в то время как сообщаемые измерения точности остаются ограниченными заявленным результатом одного запроса и не отвечают на более широкий вопрос пакетной обработки.

Что посмотреть дальше

Исследование представляет собой раннюю характеристику, основанную на одной конфигурации модели, одном графическом процессоре и двух тестах. Чтобы определить, насколько широко применимы результаты, потребуются независимые тесты моделей, оборудования, рабочих нагрузок и производственных настроек.

Самое большое неизвестное — это обобщаемость. В эксперименте используется одна конфигурация модели с маскировочной диффузией, LLaDA-8B-Instruct с адаптером D2F LoRA, и один графический процессор NVIDIA H200. Источник не устанавливает, появятся ли те же 11 уровней подсчета шагов, слабая предсказуемость перед генерацией, баланс времени между процессором и графическим процессором или 16,0-кратный прирост пакетной обработки с другими dLLM, адаптерами, ускорителями, программными стеками или сочетаниями запросов. Эти границы важны при интерпретации результатов. Полученные результаты являются свидетельством протестированной установки, а не полной картой поведения обслуживания с маскировочной диффузией во всех возможных конфигурациях.

Дальнейшая работа должна проверить трафик, подобный производственному, а также более длинные и разнообразные результаты. В документе особо предупреждается, что бюджеты ниже 320 токенов могут скрыть разброс задержек, поэтому оценки должны включать достаточно длинные рабочие нагрузки, чтобы выявить полное поведение шумоподавления. Также важно будет измерять задержку хвоста, пропускную способность, использование памяти и качество совместно, а не рассматривать одно значение пропускной способности как достаточное доказательство преимущества развертывания. Такие измерения помогут отличить улучшение средней пропускной способности от улучшения, которое остается полезным при реальном трафике. Они также покажут, сохраняется ли наблюдаемое поведение планирования при изменении рабочей нагрузки и длины вывода.

Претензии по качеству остаются условными. Авторы заявляют, что качество не должно ухудшаться с увеличением размера партии согласно трем предположениям, но источник не указывает широкий набор результатов по точности размера партии, а также не сообщает о доступности производства или развертываниях, ориентированных на пользователя. Независимая репликация в GSM8K, HumanEval и других задачах поможет определить, является ли синхронизированная пакетная обработка широко полезным принципом проектирования или, главным образом, оптимизацией для этой экспериментальной установки. Пока эти тесты не доступны, наиболее оправданное прочтение является условным: синхронизированная пакетная обработка является многообещающим принципом проектирования в описанной установке, в то время как ее более широкая ценность для развертывания еще предстоит установить.

Сопутствующие руководства и викторины