Викторина, связанная с руководством · Средний Уровень
Тест на выбор правильного размера модели
Выбирайте модели, используя проверки качества, задержки, стоимости, безопасности и версии для конкретной задачи, а не предполагая, что один размер модели подходит для каждого запроса.
Вопрос 1 из 8
Как команде следует выбрать уровень модели для производственной задачи?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Как команде следует выбрать уровень модели для производственной задачи?
- Evaluate candidate models against the task’s quality, latency, cost, and safety requirements
- Always choose the largest model
- Always choose the cheapest model
- Use model size as the only metric
- Почему модель меньшего размера может быть хорошим выбором для простой задачи?
- It is guaranteed to outperform larger models
- It never makes errors
- It may meet the needed quality with lower cost or latency
- It removes the need for evaluation
- Как команда может честно сравнивать модели-кандидаты?
- Compare only marketing descriptions
- Use representative held-out examples and measure quality, errors, latency, and cost
- Run one prompt once
- Compare parameter names only
- What risk applies to routing based on model confidence?
- Confidence always equals correctness probability
- Routing removes all errors
- Confidence prevents model updates
- Confidence may not be calibrated, so escalation thresholds need testing
- Какую информацию о выбранной модели должна записать производственная группа?
- Exact model identifier or version and the evaluation date
- Only the display name
- Only the API hostname
- Nothing after deployment
- Когда запрос может быть передан на более эффективную модель?
- Whenever it has fewer than ten words
- When the model is cheaper
- Only after every request is already complete
- When it meets tested criteria for complexity or uncertainty
- What should be monitored after changing model versions?
- Only token count
- Only the deployment timestamp
- Task quality, error types, latency, cost, and failures
- Only model name length
- Does a larger model automatically perform better for every request?
- Yes, for every task
- No; task fit and evaluation results determine whether added capability helps
- Yes, if its context window is longer
- No, because larger models cannot follow instructions