Kvíz spojený s průvodcem · Střední úroveň

Test detekce driftu modelu

Prohlédněte si posun dat a konceptu, sledování distribuce, porovnání KS, zpožděné štítky a pečlivé reakce na upozornění na posun.

Související vodicí cestyDetekce driftu modelu
Otázka 1 z 8

Jaký je rozdíl mezi posunem dat a posunem konceptu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. Jaký je rozdíl mezi posunem dat a posunem konceptu?
    • Datový drift mění rozložení vstupů; koncepční posun mění vztah mezi vstupem a výstupem
    • Jsou to dvě jména pro stejnou věc
    • Posun dat ovlivňuje pouze obrázky; Koncept drift ovlivňuje pouze text
    • K posunu dat dochází v tréninku; Při testování dochází k posunu konceptu
  2. How should a team interpret a PSI value such as 0.30?
    • As a guarantee that model accuracy has fallen
    • As a signal to investigate under the chosen monitoring policy, not a universal proof of harmful drift
    • As an identical threshold for every feature and population
    • As proof that retraining must begin immediately
  3. Proč může detekce posunu založená na vstupu poskytnout včasné varování?
    • Protože vstupy jsou vždy nejprve špatné
    • Protože vstupy jsou menší soubory
    • Protože nálepky základní pravdy často přicházejí mnohem později než předpovědi
    • Protože modely zcela ignorují štítky
  4. What does a two-sample Kolmogorov-Smirnov test compare?
    • The average accuracy of two classifiers only
    • The class labels predicted by a single model
    • The parameter values of two neural networks
    • The empirical cumulative distribution functions of two samples
  5. Který scénář je jasným příkladem posunu konceptu?
    • To, co uživatelé považují za „spam“, se v průběhu času mění i u podobně vypadajících e-mailů
    • Fotoaparát vytváří mírně jasnější snímky
    • Věk zákazníků v datové sadě zůstává stejný
    • Soubor dat je uložen v novém formátu souboru
  6. What is a safe first response when an input-drift monitor triggers?
    • Automatically deploy a newly retrained model without evaluation
    • Investigate the data and impact, then decide whether retraining or another action is justified
    • Delete the reference data
    • Assume every shift is harmful concept drift
  7. What can TensorFlow Data Validation check in an ML pipeline?
    • The causal effect of a feature
    • Whether every model prediction is correct
    • Data schemas and statistics, including unexpected changes
    • The absolute accuracy of an unlabeled dataset
  8. What does the Population Stability Index (PSI) measure in a drift-monitoring setup?
    • The model’s accuracy on labeled examples
    • A causal effect of an input feature
    • A universal pass/fail threshold for all models
    • A numerical summary of how binned feature distributions differ between reference and current data