Quiz collegato alla guida · Medio Livello
Quiz sulle metriche di guardrail negli esperimenti sui modelli
Scegliere guardrail attuabili, definire margini di non inferiorità e tenere conto dell’incertezza, di molteplici parametri e dei danni ritardati.
Domanda 1 di 8
Che ruolo gioca una metrica guardrail in un esperimento?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Che ruolo gioca una metrica guardrail in un esperimento?
- It monitors an important outcome that should not degrade beyond an accepted limit
- It replaces the primary metric after results are known
- It guarantees every subgroup benefits
- It measures only model training time
- Perché predefinire un margine di non inferiorità?
- It guarantees a zero-effect test
- It states the largest acceptable decline before seeing the result
- It ensures all metrics have equal importance
- It converts a guardrail into an SLO automatically
- Perché un raro incidente di sicurezza può essere difficile da valutare in un breve esperimento?
- The primary metric removes safety outcomes
- Rare events have no user impact
- Too few events may provide insufficient statistical power
- Confidence intervals are always zero
- Cosa dovrebbe fare una squadra se la stima del guardrail non è conclusiva?
- Claim a primary-metric gain resolves the uncertainty
- Treat it as proof of no harm
- Ignore the metric permanently
- Consider uncertainty and predefined escalation rules
- Perché molte metriche guardrail possono complicare l’interpretazione?
- More metrics remove uncertainty
- Multiple comparisons and noisy signals can create false alarms
- Guardrails are independent by definition
- They prevent subgroup analysis
- Which metric is a plausible operational guardrail for an inference service?
- Number of optimizer parameters
- Training set alphabetic order
- p99 latency
- The model's file size alone
- Why define an owner and response action for each guardrail?
- It guarantees the model improves
- It makes the metric statistically independent
- It avoids choosing thresholds
- A metric must lead to an appropriate decision when it changes
- What should be reported with guardrail results?
- Metric definition, uncertainty and sample coverage
- Only a green or red icon
- The model's training loss only
- A claim of universal safety