Викторина, связанная с руководством · Жесткий Уровень

Общая стоимость владения для викторины LLM с самостоятельным размещением

Проверьте, что определяет истинную стоимость LLM с самостоятельным размещением: математические расчеты памяти графического процессора, ее использование, кадровое обеспечение и безубыточность по сравнению с ценами на API за токен.

Вопрос 1 из 8

Примерно сколько памяти требуется для весов модели с 70 миллиардами параметров при 16-битной точности?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Примерно сколько памяти требуется для весов модели с 70 миллиардами параметров при 16-битной точности?
    • Около 140 ГБ
    • Около 35 ГБ
    • Около 70 ГБ
    • Около 560 ГБ
  2. Как руководство определяет эффективную стоимость за токен при самоуправляемом развертывании?
    • Цена аренды GPU в час, разделенная на количество параметров модели
    • Список цен поставщика API минус фиксированная скидка
    • Общая ежемесячная стоимость, разделенная на фактически обслуженные токены
    • Стоимость покупки оборудования, разделенная на количество пользователей
  3. Почему легковесный самоуправляемый кластер может стоить дороже за токен, чем API?
    • Самоуправляемые модели дают более длинные ответы
    • GPU стоят одинаково, будь они простаивают или работают, поэтому меньше токенов делят фиксированную стоимость
    • Лицензии с открытым весом взимают плату за токен
    • API субсидируются правительствами
  4. Какую стоимость руководство определяет как часто крупнейшую скрытую статью в самостоятельном хостинге?
    • Плата за загрузку модели
    • Лицензии на токенизатор
    • Электричество для ноутбуков
    • Персонал, который развёртывает, настраивает, исправляет, обновляет и дежурит по стеку
  5. Помимо весов модели, что использует память GPU и растёт с длиной контекста и количеством одновременных запросов?
    • Словарь токенизатора
    • Балансировщик нагрузки
    • KV‑кеш
    • Файл лицензии модели
  6. Почему считается ошибочным, что самовнедрение автоматически более приватно?
    • Сервер, самовнедренный с плохой защитой, может быть более рискованным, чем провайдер с проверенными контролями
    • Модели с открытым весом отправляют данные обратно своим создателям
    • API никогда не хранят данные
    • Законы о конфиденциальности запрещают самовнедрение
  7. Какова цель непрерывной пакетной обработки в серверах, таких как vLLM?
    • Сжимать веса модели до 4 бит
    • Переводить запросы на другие языки
    • Автоматически загружать новые версии модели
    • Держать GPU занятыми, обрабатывая множество запросов одновременно
  8. Как описывает руководство вероятный шаблон для многих организаций?
    • Перенос всех рабочих нагрузок на самовнедрение
    • Гибридный: API для всплесковых или передовых нагрузок, самостоятельный хостинг для стабильных, высокообъёмных или чувствительных
    • Использовать только API навсегда
    • Выбрать один раз и никогда не пересматривать решение