Викторина, связанная с руководством · Средний Уровень

Статистическая значимость в тесте LLM Evals

Интерпретируйте различия в баллах оценки, используя согласованный дизайн теста, интервалы неопределенности, величину эффекта и практическую значимость для решений о продукте.

Связанные направляющие путиСтатистическая значимость в оценках LLM
Вопрос 1 из 8

Что оценивает тест статистической значимости?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Что оценивает тест статистической значимости?
    • Whether a model is safe in every deployment
    • Whether users prefer a new interface
    • Whether an observed result would be surprising under a specified null hypothesis
    • Whether a score increase is large enough to matter
  2. Зачем использовать парное сравнение, если обе системы отвечают на одни и те же элементы оценки?
    • It preserves item-level correspondence when estimating score differences
    • It guarantees the systems have identical scores
    • It makes every example independent
    • It removes all output randomness
  3. When may McNemar’s test be appropriate?
    • For any continuous score without assumptions
    • Only for latency measurements
    • For comparing unrelated samples
    • For paired binary outcomes on the same items
  4. What should be reported alongside a significance result?
    • Only which model won
    • Effect size, confidence interval, sample size, and test method
    • Only a p-value
    • A screenshot of the leaderboard
  5. Почему повторные прогоны модели могут быть полезны?
    • They guarantee deterministic output
    • They replace a representative test set
    • They estimate run-to-run variability separately from variation across test examples
    • They always increase the mean score
  6. Доказывает ли статистическая значимость, что выигрыш имеет значение для пользователей?
    • Yes, by definition
    • No; practical effect size and product goals must also be considered
    • Yes, if the p-value is small
    • No, because statistics cannot inform decisions
  7. What should analysts consider when testing many models and metrics?
    • Multiple-comparison risk or treating exploratory results as provisional
    • Ignoring all confidence intervals
    • Choosing only the largest score after testing
    • Changing the test set after seeing results
  8. Как команды могут уменьшить количество предвзятых решений о выпуске из-за небольшого повышения очков?
    • Ship every statistically higher score
    • Test only on examples used to tune the prompt
    • Ignore subgroup changes
    • Use a predeclared practical threshold and inspect representative held-out examples