Útmutatóhoz kapcsolódó kvíz · Közepes Szint

Model-Assisted Pre-Labeling Quiz

Assess draft-label review, anchoring risks, confidence-based triage limits, fair workflow comparisons, and human checks for model errors.

Kapcsolódó útmutató utakModel Assisted Pre Labeling
kérdés 1 -ból 8

Mi felé tolódik el az emberi annotátor feladata egy modell által segített előcímkézési munkafolyamatban?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Mi felé tolódik el az emberi annotátor feladata egy modell által segített előcímkézési munkafolyamatban?
    • Verifying and correcting the model's draft labels instead of creating labels from scratch
    • A modell képzési kódjának megírása
    • Only labeling data the model refuses to touch
    • Deleting all model predictions before starting
  2. Az útmutató szerint mi a fő kockázat, amelyet a horgonyzási torzítás bevezet az előcímkézési csővezetékbe?
    • The model always predicts every item correctly
    • Reviewers can over-rely on the suggested label instead of independently judging the item
    • Pre-labeling removes the need for guidelines
    • Annotators become unable to use the interface
  3. Hogyan használják egyes folyamatok a modell megbízhatósági pontszámait a felülvizsgálói munkaterhelés kezelésére?
    • They ignore confidence scores entirely
    • They discard all predictions below 100% confidence
    • They route low-confidence predictions for closer review and let high-confidence ones get lighter scrutiny
    • They only compute confidence scores after training is finished
  4. Miért rejtheti el egy csővezeték szándékosan a modell bizalmi pontszámát egy értékelő elől?
    • To save on computing costs
    • Because confidence scores are illegal to display
    • Because hiding scores speeds up the model's inference
    • To reduce anchoring bias by encouraging independent judgment rather than trust in the model's certainty
  5. Az útmutató szerint mi az egyik módja annak, hogy a csapatok mérjék, hogy az előzetes címkézés valóban megőrizte-e a pontosságot, ahelyett, hogy csak növelte volna az átviteli sebességet?
    • Comparing error rates between a pre-labeled review workflow and a from-scratch labeling workflow on the same held-out sample
    • Counting how many labels were produced per hour only
    • Asking the model to grade its own predictions
    • Measuring how long the software takes to load
  6. According to the guide, what is a common pattern in how companies build early pre-labeling models?
    • They avoid training any model until the dataset is fully complete
    • They train an earlier, weaker model specifically so it can pre-label the next batch, creating an iterative improvement loop
    • They only use pre-labeling for audio data
    • They use a single frozen model forever with no updates
  7. In the invoice-processing example, what does the OCR-plus-layout model do before a human clerk gets involved?
    • It deletes incorrect invoices automatically
    • It sends the invoice directly to payment without review
    • It pre-fills fields like invoice number and total for the clerk to verify or correct
    • It only extracts the company logo
  8. Why is anchoring bias described as not unique to data annotation?
    • Because it only happens with audio data
    • Because it was invented specifically for AI pipelines
    • Because it only affects computer systems, not people
    • Because it is a well-documented pattern in human decision-making generally, seen in many judgment contexts