Викторина, связанная с руководством · Легко Уровень

Тест на маркировку внутренних и аутсорсинговых данных

Сравните внутренние модели аннотаций, модели поставщиков и гибридные модели аннотаций с точки зрения опыта, возможностей, контроля конфиденциальности, трудовой практики и обеспечения качества.

Вопрос 1 из 8

Почему компания, создающая нишевую модель медицинской визуализации, может предпочесть собственную маркировку аутсорсингу?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Почему компания, создающая нишевую модель медицинской визуализации, может предпочесть собственную маркировку аутсорсингу?
    • The specialized domain expertise required is hard to source cheaply from a general labeling vendor
    • In-house labeling is always cheaper per label
    • Outsourced vendors are legally barred from labeling any images
    • In-house teams never need quality control
  2. Что может предложить внешний поставщик маркировки для решения крупной, четко поставленной задачи?
    • Guaranteed lower cost and higher accuracy in all cases
    • Potentially added capacity, depending on the provider and contract
    • Automatic compliance without review
    • The right to ignore the task guidelines
  3. Почему проект может ограничивать круг лиц, которые могут комментировать конфиденциальные или секретные данные?
    • Because outsourcing is always illegal
    • Because annotation cannot be done on encrypted systems
    • To meet applicable access, confidentiality, residency, or classification requirements
    • To avoid writing guidelines
  4. Согласно руководству, какая задача является золотым стандартом в процессе обеспечения качества маркировки на аутсорсинге?
    • A task that pays labelers a bonus rate
    • A task reserved only for the most senior in-house engineers
    • A task that requires no review at all
    • A pre-labeled example with a known correct answer, seeded invisibly into a labeler's queue to measure accuracy
  5. Как согласованная маркировка работает как механизм качества?
    • The same item is sent to multiple independent labelers, and the majority or weighted-agreement answer is kept
    • It relies on a single labeler's judgment being trusted completely
    • It removes the need for any labeling guidelines
    • It only applies to audio annotation tasks
  6. Why is it a misconception that outsourcing always means lower quality?
    • Outsourcing is technically impossible for any task
    • A well-managed vendor may produce reliable labels when expertise, instructions, calibration, and QA fit the task
    • In-house teams never make mistakes
    • Outsourced vendors are legally required to guarantee perfect accuracy
  7. According to the guide, what is the hybrid approach described for combining in-house and outsourced labeling?
    • Using only in-house labelers forever and never outsourcing
    • Outsourcing the entire project with no in-house involvement at all
    • Refining ambiguous labeling guidelines with a small in-house team first, then scaling the finalized instructions out to an outsourced vendor
    • Alternating randomly between in-house and outsourced labelers with no plan
  8. Do privacy or sector-specific duties automatically require annotation to remain in-house?
    • Yes, all regulated information must be labeled by employees
    • No; applicable rules may restrict access, transfer, and safeguards, but the sourcing choice depends on the actual requirements
    • Yes, but only for every medical image
    • No, privacy rules never apply to data vendors