Викторина, связанная с руководством · Легко Уровень
Тест на маркировку внутренних и аутсорсинговых данных
Сравните внутренние модели аннотаций, модели поставщиков и гибридные модели аннотаций с точки зрения опыта, возможностей, контроля конфиденциальности, трудовой практики и обеспечения качества.
Вопрос 1 из 8
Почему компания, создающая нишевую модель медицинской визуализации, может предпочесть собственную маркировку аутсорсингу?
Предварительный просмотр каждого вопроса8 вопросы
Ответы и пояснения появляются по мере прохождения теста.
- Почему компания, создающая нишевую модель медицинской визуализации, может предпочесть собственную маркировку аутсорсингу?
- The specialized domain expertise required is hard to source cheaply from a general labeling vendor
- In-house labeling is always cheaper per label
- Outsourced vendors are legally barred from labeling any images
- In-house teams never need quality control
- Что может предложить внешний поставщик маркировки для решения крупной, четко поставленной задачи?
- Guaranteed lower cost and higher accuracy in all cases
- Potentially added capacity, depending on the provider and contract
- Automatic compliance without review
- The right to ignore the task guidelines
- Почему проект может ограничивать круг лиц, которые могут комментировать конфиденциальные или секретные данные?
- Because outsourcing is always illegal
- Because annotation cannot be done on encrypted systems
- To meet applicable access, confidentiality, residency, or classification requirements
- To avoid writing guidelines
- Согласно руководству, какая задача является золотым стандартом в процессе обеспечения качества маркировки на аутсорсинге?
- A task that pays labelers a bonus rate
- A task reserved only for the most senior in-house engineers
- A task that requires no review at all
- A pre-labeled example with a known correct answer, seeded invisibly into a labeler's queue to measure accuracy
- Как согласованная маркировка работает как механизм качества?
- The same item is sent to multiple independent labelers, and the majority or weighted-agreement answer is kept
- It relies on a single labeler's judgment being trusted completely
- It removes the need for any labeling guidelines
- It only applies to audio annotation tasks
- Why is it a misconception that outsourcing always means lower quality?
- Outsourcing is technically impossible for any task
- A well-managed vendor may produce reliable labels when expertise, instructions, calibration, and QA fit the task
- In-house teams never make mistakes
- Outsourced vendors are legally required to guarantee perfect accuracy
- According to the guide, what is the hybrid approach described for combining in-house and outsourced labeling?
- Using only in-house labelers forever and never outsourcing
- Outsourcing the entire project with no in-house involvement at all
- Refining ambiguous labeling guidelines with a small in-house team first, then scaling the finalized instructions out to an outsourced vendor
- Alternating randomly between in-house and outsourced labelers with no plan
- Do privacy or sector-specific duties automatically require annotation to remain in-house?
- Yes, all regulated information must be labeled by employees
- No; applicable rules may restrict access, transfer, and safeguards, but the sourcing choice depends on the actual requirements
- Yes, but only for every medical image
- No, privacy rules never apply to data vendors