Викторина, связанная с руководством · Средний Уровень

Контрольный список готовности к производству для викторины по приложениям LLM

Проверяет понимание оценок, ограничений, наблюдаемости, ограничений скорости, резервного дизайна и контроля затрат при подготовке к производству LLM.

Вопрос 1 из 8

Почему, согласно руководству, оценки считаются базовым требованием, а не необязательным для приложений LLM?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему, согласно руководству, оценки считаются базовым требованием, а не необязательным для приложений LLM?
    • Потому что быстрые изменения или изменения модели могут незаметно ухудшить качество одних входных данных и улучшить другие.
    • Поскольку результаты LLM детерминированы и всегда идентичны.
    • Потому что оценки напрямую сокращают затраты на хостинг.
    • Потому что они требуются условиями обслуживания каждого облачного провайдера.
  2. Как руководство отличает проверки на стороне ввода от проверок на стороне вывода?
    • Ограждения на стороне входа проверяют выставление счетов; ограждения на выходной стороне проверяют задержку
    • Ограждения на стороне ввода перехватывают вредоносные запросы до того, как они достигнут модели; защитные ограждения на стороне вывода выявляют такие проблемы, как утечка личных данных, прежде чем ответ дойдет до пользователя.
    • Нет никакой разницы; оба термина означают одно и то же
    • Ограждения на стороне ввода применяются только к изображениям.
  3. Что руководство рекомендует регистрировать для обеспечения наблюдения в приложении LLM?
    • Только окончательные сообщения об ошибках, обращенные к пользователю.
    • Просто номер версии модели
    • Подсказки, завершения, задержки, количество токенов и оценки с течением времени
    • Ничего, поскольку вызовы LLM не сохраняют состояние.
  4. Почему в руководстве рекомендуется применять ограничения ставок и затрат на нескольких уровнях?
    • Поскольку API-интерфейсы провайдера не поддерживают ограничение скорости.
    • Потому что несколько слоев делают приложение быстрее.
    • Потому что это устраняет необходимость в оценках
    • Поскольку сама по себе логика уровня приложения может иметь ошибку, поэтому ограничения на выставление счетов на стороне поставщика служат защитой.
  5. Какой шаблон описан в руководстве для корректной обработки сбоев в работе поставщика моделей?
    • Автоматический выключатель, который переключается на кэшированный ответ или вторичного поставщика после повторяющихся ошибок.
    • Бесконечные повторы без ограничений
    • Немедленное удаление запроса пользователя
    • Игнорирование сбоя и возврат пустого ответа
  6. Согласно руководству, какое распространенное заблуждение относительно готовности к производству приложений LLM?
    • Оценки не нужны, если модель от надежного поставщика.
    • Прохождение демо-версии или нескольких ручных тестов эквивалентно готовности к производству.
    • Ограждения следует применять только к выводу, а не к вводу.
    • Это ограничение скорости актуально только для приложений, не связанных с искусственным интеллектом.
  7. Какой тип оценки используется в пакете практической оценки согласно руководству?
    • Только точное совпадение строк для каждого типа задач
    • Случайная выборка без критериев оценки
    • Структурированные критерии, такие как критерии LLM как судьи, проверка схемы или точное соответствие для ограниченных задач.
    • Голоса пользователей, собранные после каждой сессии
  8. Какие будущие тенденции упоминаются в руководстве в отношении регулирования и практики производства LLM?
    • Все страны уже завершили разработку одинаковых правил ИИ.
    • Регулирование ИИ полностью отменено во всем мире
    • Регулирование влияет только на производителей оборудования, а не на команды разработчиков программного обеспечения.
    • Внимание регулирующих органов может подтолкнуть методы регистрации и реагирования на инциденты к соблюдению требований в некоторых секторах, хотя это зависит от региона.