Викторина, связанная с руководством · Средний Уровень

Тест на выбор правильного размера модели

Выбирайте модели, используя проверки качества, задержки, стоимости, безопасности и версии для конкретной задачи, а не предполагая, что один размер модели подходит для каждого запроса.

Вопрос 1 из 8

Как команде следует выбрать уровень модели для производственной задачи?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Как команде следует выбрать уровень модели для производственной задачи?
    • Evaluate candidate models against the task’s quality, latency, cost, and safety requirements
    • Always choose the largest model
    • Always choose the cheapest model
    • Use model size as the only metric
  2. Почему модель меньшего размера может быть хорошим выбором для простой задачи?
    • It is guaranteed to outperform larger models
    • It never makes errors
    • It may meet the needed quality with lower cost or latency
    • It removes the need for evaluation
  3. Как команда может честно сравнивать модели-кандидаты?
    • Compare only marketing descriptions
    • Use representative held-out examples and measure quality, errors, latency, and cost
    • Run one prompt once
    • Compare parameter names only
  4. What risk applies to routing based on model confidence?
    • Confidence always equals correctness probability
    • Routing removes all errors
    • Confidence prevents model updates
    • Confidence may not be calibrated, so escalation thresholds need testing
  5. Какую информацию о выбранной модели должна записать производственная группа?
    • Exact model identifier or version and the evaluation date
    • Only the display name
    • Only the API hostname
    • Nothing after deployment
  6. Когда запрос может быть передан на более эффективную модель?
    • Whenever it has fewer than ten words
    • When the model is cheaper
    • Only after every request is already complete
    • When it meets tested criteria for complexity or uncertainty
  7. What should be monitored after changing model versions?
    • Only token count
    • Only the deployment timestamp
    • Task quality, error types, latency, cost, and failures
    • Only model name length
  8. Does a larger model automatically perform better for every request?
    • Yes, for every task
    • No; task fit and evaluation results determine whether added capability helps
    • Yes, if its context window is longer
    • No, because larger models cannot follow instructions