Kvíz spojený s průvodcem · Střední úroveň
Test detekce driftu modelu
Prohlédněte si posun dat a konceptu, sledování distribuce, porovnání KS, zpožděné štítky a pečlivé reakce na upozornění na posun.
Otázka 1 z 8
Jaký je rozdíl mezi posunem dat a posunem konceptu?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Jaký je rozdíl mezi posunem dat a posunem konceptu?
- Datový drift mění rozložení vstupů; koncepční posun mění vztah mezi vstupem a výstupem
- Jsou to dvě jména pro stejnou věc
- Posun dat ovlivňuje pouze obrázky; Koncept drift ovlivňuje pouze text
- K posunu dat dochází v tréninku; Při testování dochází k posunu konceptu
- How should a team interpret a PSI value such as 0.30?
- As a guarantee that model accuracy has fallen
- As a signal to investigate under the chosen monitoring policy, not a universal proof of harmful drift
- As an identical threshold for every feature and population
- As proof that retraining must begin immediately
- Proč může detekce posunu založená na vstupu poskytnout včasné varování?
- Protože vstupy jsou vždy nejprve špatné
- Protože vstupy jsou menší soubory
- Protože nálepky základní pravdy často přicházejí mnohem později než předpovědi
- Protože modely zcela ignorují štítky
- What does a two-sample Kolmogorov-Smirnov test compare?
- The average accuracy of two classifiers only
- The class labels predicted by a single model
- The parameter values of two neural networks
- The empirical cumulative distribution functions of two samples
- Který scénář je jasným příkladem posunu konceptu?
- To, co uživatelé považují za „spam“, se v průběhu času mění i u podobně vypadajících e-mailů
- Fotoaparát vytváří mírně jasnější snímky
- Věk zákazníků v datové sadě zůstává stejný
- Soubor dat je uložen v novém formátu souboru
- What is a safe first response when an input-drift monitor triggers?
- Automatically deploy a newly retrained model without evaluation
- Investigate the data and impact, then decide whether retraining or another action is justified
- Delete the reference data
- Assume every shift is harmful concept drift
- What can TensorFlow Data Validation check in an ML pipeline?
- The causal effect of a feature
- Whether every model prediction is correct
- Data schemas and statistics, including unexpected changes
- The absolute accuracy of an unlabeled dataset
- What does the Population Stability Index (PSI) measure in a drift-monitoring setup?
- The model’s accuracy on labeled examples
- A causal effect of an input feature
- A universal pass/fail threshold for all models
- A numerical summary of how binned feature distributions differ between reference and current data