Викторина, связанная с руководством · Средний Уровень

Вопросы для интервью по статистике для викторины по науке о данных

Проверяет интерпретацию p-значения, значимость и практическую важность, множественные сравнения и предположения, лежащие в основе экспериментов по науке о данных.

Вопрос 1 из 8

Согласно определению NIST, что описывает значение p?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Согласно определению NIST, что описывает значение p?
    • Размер воздействия на бизнес, вызванного лечением
    • Вероятность того, что тестовая статистика будет не менее экстремальной, чем наблюдаемая, при условии, что нулевая гипотеза верна.
    • Вероятность того, что нулевая гипотеза верна
    • Вероятность того, что альтернативная гипотеза верна
  2. Кандидат видит небольшое значение p. Какого утверждения им следует избегать?
    • «Результат оценивается при заданной нулевой гипотезе».
    • «Наблюдаемая статистика была бы необычной в рамках нулевой модели».
    • «Мне также следует оценить величину эффекта и изучить предположения».
    • «Это вероятность того, что нулевая гипотеза верна».
  3. Почему порог значимости следует выбирать до изучения результатов?
    • Чтобы не выбирать правило принятия решения после того, как вы увидите, какой результат выглядит благоприятным.
    • To ensure the measured effect is large enough to matter
    • To remove the need for a sampling plan
    • To guarantee the null hypothesis is false
  4. A team compares several outcomes and many pairs. What statistical issue should it consider?
    • The smallest p-value is always the true effect
    • Adding outcomes removes the need for a hypothesis
    • Multiple comparisons can make repeated unadjusted testing misstate the overall error rate
    • Each comparison automatically becomes independent evidence
  5. Which method can control an intended overall error level for planned comparisons?
    • Replace the outcome with a post hoc metric
    • Use an appropriate multiple-comparison procedure, such as Bonferroni when suitable
    • Choose whichever comparison has the lowest p-value after analysis
    • Ignore all comparisons except the one with the largest effect
  6. A result is statistically detectable but has a negligible effect on the product outcome. What should the analyst say?
    • Statistical evidence and practical importance are different questions
    • A small p-value proves the change is worth shipping
    • Statistical significance measures revenue impact directly
    • Effect size is irrelevant once a threshold is crossed
  7. Before interpreting an A/B test result, which design question matters?
    • Which graph color makes the result look clearest
    • Whether the reported p-value has enough decimal places
    • Which team prefers the treatment
    • How assignment occurred and whether groups or observations satisfy the analysis assumptions
  8. What can a non-significant result establish by itself?
    • The treatment has no practical or statistical effect
    • The experiment had enough power for every relevant effect
    • It does not prove there is no effect; the result may be inconclusive
    • The null hypothesis is certainly true