Оптимизация вывода ИИ

Методы включают пакетную обработку, кэширование, пониженную точность, выбор модели и эффективное выполнение. Выбирайте их из измеренного узкого места, а не предполагайте, что каждая оптимизация помогает каждой рабочей нагрузке.

Ключевые выводы

• Сравните реалистичные рабочие нагрузки.
• Повторно проверьте качество после числовых изменений.
• Оптимизируйте доминирующую стадию полного запроса.

Измеряйте сквозную задержку, пропускную способность, память и качество задач на реалистичных входных данных. Включите холодный запуск, параллелизм, длинные запросы и отмену. Тест, использующий один короткий предварительный ввод, может не представлять собой сервис, ориентированный на пользователя. Пакетная обработка может улучшить использование оборудования за счет совместной обработки запросов, но ожидание формирования пакета может увеличить индивидуальную задержку. Кэширование помогает повторяющейся работе только в том случае, если ключ кэша фиксирует соответствующую модель, входные данные, разрешения и версию. Неправильное кэширование может возвращать устаревшие или неавторизованные результаты. Более низкая точность или квантование могут уменьшить объем памяти и вычислений, но влияние на качество зависит от модели, оборудования, метода и задачи. Сравните с исходной конфигурацией, используя те же примеры оценки, включая редкие и числовые случаи. Оптимизируйте полный путь запроса. Извлечение, токенизация, передача по сети и обработка вывода могут доминировать во времени выполнения модели. Изменяйте по одному значимому фактору за раз и записывайте как улучшение, так и любое ухудшение. Целью является более эффективное выполнение задачи, а не более лестные изолированные показатели производительности.

1. В сконструированном запросе выполнение модели занимает 400 мс, а вся остальная работа — 600 мс.
2. Увеличение скорости модели в два раза сокращает общее время с 1000 мс до 800 мс: сквозное сокращение на 20%.
3. Измерьте другие этапы, прежде чем предположить, что еще одна оптимизация модели является изменением с наибольшей ценностью.

Придуманный пример синхронизации иллюстрирует, почему ускорение компонента — это не то же самое, что ускорение системы.