Kvíz spojený s průvodcem · Střední úroveň

Kvíz předběžného označování za pomoci modelu

Assess draft-label review, anchoring risks, confidence-based triage limits, fair workflow comparisons, and human checks for model errors.

Související vodicí cestyModelově asistované předznačování
Otázka 1 z 8

K čemu se práce lidského anotátora posouvá v pracovním postupu předběžného označování pomocí modelu?

Náhled každé otázky8 otázky

Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.

  1. K čemu se práce lidského anotátora posouvá v pracovním postupu předběžného označování pomocí modelu?
    • Verifying and correcting the model's draft labels instead of creating labels from scratch
    • Writing the model's training code
    • Only labeling data the model refuses to touch
    • Deleting all model predictions before starting
  2. Jaké je podle průvodce hlavním rizikem, které ukotvení vnáší do potrubí předběžného označování?
    • The model always predicts every item correctly
    • Reviewers can over-rely on the suggested label instead of independently judging the item
    • Pre-labeling removes the need for guidelines
    • Annotators become unable to use the interface
  3. Jak některé kanály používají skóre spolehlivosti modelu ke správě zátěže recenzentů?
    • They ignore confidence scores entirely
    • They discard all predictions below 100% confidence
    • They route low-confidence predictions for closer review and let high-confidence ones get lighter scrutiny
    • They only compute confidence scores after training is finished
  4. Proč by potrubí mohlo před recenzentem záměrně skrývat skóre spolehlivosti modelu?
    • To save on computing costs
    • Because confidence scores are illegal to display
    • Because hiding scores speeds up the model's inference
    • To reduce anchoring bias by encouraging independent judgment rather than trust in the model's certainty
  5. Jaký je podle průvodce jedním ze způsobů, jak týmy změřit, zda předběžné označení skutečně zachovalo přesnost, než jen zvýšit propustnost?
    • Comparing error rates between a pre-labeled review workflow and a from-scratch labeling workflow on the same held-out sample
    • Counting how many labels were produced per hour only
    • Asking the model to grade its own predictions
    • Measuring how long the software takes to load
  6. According to the guide, what is a common pattern in how companies build early pre-labeling models?
    • They avoid training any model until the dataset is fully complete
    • They train an earlier, weaker model specifically so it can pre-label the next batch, creating an iterative improvement loop
    • They only use pre-labeling for audio data
    • They use a single frozen model forever with no updates
  7. In the invoice-processing example, what does the OCR-plus-layout model do before a human clerk gets involved?
    • It deletes incorrect invoices automatically
    • It sends the invoice directly to payment without review
    • It pre-fills fields like invoice number and total for the clerk to verify or correct
    • It only extracts the company logo
  8. Why is anchoring bias described as not unique to data annotation?
    • Because it only happens with audio data
    • Because it was invented specifically for AI pipelines
    • Because it only affects computer systems, not people
    • Because it is a well-documented pattern in human decision-making generally, seen in many judgment contexts