Викторина, связанная с руководством · Жесткий Уровень
Общая стоимость владения для викторины LLM с самостоятельным размещением
Проверьте, что определяет истинную стоимость LLM с самостоятельным размещением: математические расчеты памяти графического процессора, ее использование, кадровое обеспечение и безубыточность по сравнению с ценами на API за токен.
Вопрос 1 из 8
Примерно сколько памяти требуется для весов модели с 70 миллиардами параметров при 16-битной точности?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Примерно сколько памяти требуется для весов модели с 70 миллиардами параметров при 16-битной точности?
- Около 140 ГБ
- Около 35 ГБ
- Около 70 ГБ
- Около 560 ГБ
- Как руководство определяет эффективную стоимость за токен при самоуправляемом развертывании?
- Цена аренды GPU в час, разделенная на количество параметров модели
- Список цен поставщика API минус фиксированная скидка
- Общая ежемесячная стоимость, разделенная на фактически обслуженные токены
- Стоимость покупки оборудования, разделенная на количество пользователей
- Почему легковесный самоуправляемый кластер может стоить дороже за токен, чем API?
- Самоуправляемые модели дают более длинные ответы
- GPU стоят одинаково, будь они простаивают или работают, поэтому меньше токенов делят фиксированную стоимость
- Лицензии с открытым весом взимают плату за токен
- API субсидируются правительствами
- Какую стоимость руководство определяет как часто крупнейшую скрытую статью в самостоятельном хостинге?
- Плата за загрузку модели
- Лицензии на токенизатор
- Электричество для ноутбуков
- Персонал, который развёртывает, настраивает, исправляет, обновляет и дежурит по стеку
- Помимо весов модели, что использует память GPU и растёт с длиной контекста и количеством одновременных запросов?
- Словарь токенизатора
- Балансировщик нагрузки
- KV‑кеш
- Файл лицензии модели
- Почему считается ошибочным, что самовнедрение автоматически более приватно?
- Сервер, самовнедренный с плохой защитой, может быть более рискованным, чем провайдер с проверенными контролями
- Модели с открытым весом отправляют данные обратно своим создателям
- API никогда не хранят данные
- Законы о конфиденциальности запрещают самовнедрение
- Какова цель непрерывной пакетной обработки в серверах, таких как vLLM?
- Сжимать веса модели до 4 бит
- Переводить запросы на другие языки
- Автоматически загружать новые версии модели
- Держать GPU занятыми, обрабатывая множество запросов одновременно
- Как описывает руководство вероятный шаблон для многих организаций?
- Перенос всех рабочих нагрузок на самовнедрение
- Гибридный: API для всплесковых или передовых нагрузок, самостоятельный хостинг для стабильных, высокообъёмных или чувствительных
- Использовать только API навсегда
- Выбрать один раз и никогда не пересматривать решение