Викторина, связанная с руководством · Средний Уровень

Контрольные точки проверки модели перед развертыванием

Разработайте критерии проверки перед развертыванием, которые сочетают в себе качество доказательств, анализ подгрупп, оперативные проверки и поэтапный контроль развертывания.

Вопрос 1 из 8

Зачем определять пороговые значения модели перед рассмотрением результатов кандидатов?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Зачем определять пороговые значения модели перед рассмотрением результатов кандидатов?
    • Это снижает риск выбора критериев после просмотра того, какие из них проходит модель.
    • Это позволяет изменить пороги приемлемости после рассмотрения результатов.
    • Это делает оценки малых подгрупп точными по определению.
    • Это устраняет необходимость сравнения с каким-либо базовым уровнем.
  2. Метрика подгруппы основана на очень небольшом количестве примеров. Как к этому должны относиться ворота?
    • Как определенный проход, если его точечная оценка высока
    • Как неопределенный или неубедительный в соответствии с заранее определенным правилом выборки
    • В качестве доказательства подгруппа не имеет значения.
    • В качестве равного доказательства для большой выборки автоматически
  3. Что добавляет канареечное развертывание после автономной проверки?
    • Замена показателей качества модели.
    • Доказательство репрезентативности офлайн-данных
    • Ограниченное живое воздействие с критериями мониторинга и отката
    • Гарантия, что ни один пользователь не будет затронут
  4. Какая проверка является техническим жестким блокировщиком, а не статистическим порогом качества?
    • Базовый показатель имеет немного более низкий показатель.
    • Доверительный интервал близок к целевому
    • Оценка подгруппы зашумлена
    • Подпись артефакта не проходит проверку
  5. Зачем сравнивать кандидата с развернутой моделью и базовой моделью?
    • Чтобы гарантировать лучшую производительность в каждом будущем случае
    • Чтобы определить, добавляет ли это ценность или вызывает значимый регресс.
    • Чтобы избежать определения данных оценки
    • Чтобы заменить все проверки срезов
  6. Что должен сохраняться в отчете для обеспечения воспроизводимости?
    • Пароль развертывания
    • Только зеленый значок статуса
    • Версия данных, дайджест кандидатов, определения метрик и пороговые значения
    • Название модели без идентификации сборки
  7. Что не подтверждает прохождение ворот перед развертыванием?
    • Результат по представленным данным оценки
    • Соответствие указанным критериям выпуска
    • Точный артефакт, оцениваемый при записи его дайджеста.
    • Всеобщая безопасность во всех контекстах и будущих группах населения
  8. Зачем проверять, соответствует ли развернутый артефакт оцененному кандидату?
    • В противном случае релиз может содержать байты, отличные от тех, которые прошли шлюз.
    • Это меняет порог проверки
    • Это автоматически обеспечивает справедливость
    • Это увеличивает размер выборки модели.