Quiz collegato alla guida · Medio Livello

Quiz sulle metriche di guardrail negli esperimenti sui modelli

Scegliere guardrail attuabili, definire margini di non inferiorità e tenere conto dell’incertezza, di molteplici parametri e dei danni ritardati.

Domanda 1 di 8

Che ruolo gioca una metrica guardrail in un esperimento?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Che ruolo gioca una metrica guardrail in un esperimento?
    • It monitors an important outcome that should not degrade beyond an accepted limit
    • It replaces the primary metric after results are known
    • It guarantees every subgroup benefits
    • It measures only model training time
  2. Perché predefinire un margine di non inferiorità?
    • It guarantees a zero-effect test
    • It states the largest acceptable decline before seeing the result
    • It ensures all metrics have equal importance
    • It converts a guardrail into an SLO automatically
  3. Perché un raro incidente di sicurezza può essere difficile da valutare in un breve esperimento?
    • The primary metric removes safety outcomes
    • Rare events have no user impact
    • Too few events may provide insufficient statistical power
    • Confidence intervals are always zero
  4. Cosa dovrebbe fare una squadra se la stima del guardrail non è conclusiva?
    • Claim a primary-metric gain resolves the uncertainty
    • Treat it as proof of no harm
    • Ignore the metric permanently
    • Consider uncertainty and predefined escalation rules
  5. Perché molte metriche guardrail possono complicare l’interpretazione?
    • More metrics remove uncertainty
    • Multiple comparisons and noisy signals can create false alarms
    • Guardrails are independent by definition
    • They prevent subgroup analysis
  6. Which metric is a plausible operational guardrail for an inference service?
    • Number of optimizer parameters
    • Training set alphabetic order
    • p99 latency
    • The model's file size alone
  7. Why define an owner and response action for each guardrail?
    • It guarantees the model improves
    • It makes the metric statistically independent
    • It avoids choosing thresholds
    • A metric must lead to an appropriate decision when it changes
  8. What should be reported with guardrail results?
    • Metric definition, uncertainty and sample coverage
    • Only a green or red icon
    • The model's training loss only
    • A claim of universal safety