Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ

Bài kiểm tra trước khi dán nhãn có sự hỗ trợ của người mẫu

Đánh giá việc xem xét nhãn dự thảo, xác định rủi ro, giới hạn phân loại dựa trên độ tin cậy, so sánh quy trình làm việc công bằng và kiểm tra con người để phát hiện lỗi mô hình.

Đường dẫn hướng dẫn liên quanGhi nhãn trước được hỗ trợ mô hình
Câu hỏi 1 của 8

Trong quy trình gắn nhãn trước có sự hỗ trợ của mô hình, công việc của người chú thích con người sẽ hướng tới điều gì?

Xem trước mọi câu hỏi8 câu hỏi

Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.

  1. Trong quy trình gắn nhãn trước có sự hỗ trợ của mô hình, công việc của người chú thích con người sẽ hướng tới điều gì?
    • Verifying and correcting the model's draft labels instead of creating labels from scratch
    • Viết mã đào tạo của mô hình
    • Only labeling data the model refuses to touch
    • Deleting all model predictions before starting
  2. Theo hướng dẫn, rủi ro chính mà sai lệch neo đậu gây ra trong quy trình dán nhãn trước là gì?
    • The model always predicts every item correctly
    • Reviewers can over-rely on the suggested label instead of independently judging the item
    • Pre-labeling removes the need for guidelines
    • Annotators become unable to use the interface
  3. Làm cách nào để một số quy trình sử dụng điểm tin cậy của mô hình để quản lý khối lượng công việc của người đánh giá?
    • They ignore confidence scores entirely
    • They discard all predictions below 100% confidence
    • They route low-confidence predictions for closer review and let high-confidence ones get lighter scrutiny
    • They only compute confidence scores after training is finished
  4. Tại sao quy trình có thể cố tình che giấu điểm tin cậy của mô hình với người đánh giá?
    • To save on computing costs
    • Because confidence scores are illegal to display
    • Because hiding scores speeds up the model's inference
    • To reduce anchoring bias by encouraging independent judgment rather than trust in the model's certainty
  5. Theo hướng dẫn, các nhóm có một cách để đo lường liệu việc dán nhãn trước có thực sự duy trì được độ chính xác thay vì chỉ tăng thông lượng hay không?
    • Comparing error rates between a pre-labeled review workflow and a from-scratch labeling workflow on the same held-out sample
    • Counting how many labels were produced per hour only
    • Asking the model to grade its own predictions
    • Measuring how long the software takes to load
  6. According to the guide, what is a common pattern in how companies build early pre-labeling models?
    • They avoid training any model until the dataset is fully complete
    • They train an earlier, weaker model specifically so it can pre-label the next batch, creating an iterative improvement loop
    • They only use pre-labeling for audio data
    • They use a single frozen model forever with no updates
  7. In the invoice-processing example, what does the OCR-plus-layout model do before a human clerk gets involved?
    • It deletes incorrect invoices automatically
    • It sends the invoice directly to payment without review
    • It pre-fills fields like invoice number and total for the clerk to verify or correct
    • It only extracts the company logo
  8. Why is anchoring bias described as not unique to data annotation?
    • Because it only happens with audio data
    • Because it was invented specifically for AI pipelines
    • Because it only affects computer systems, not people
    • Because it is a well-documented pattern in human decision-making generally, seen in many judgment contexts