แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ
การเขียนแนวทางการเขียนคำอธิบายประกอบสำหรับแบบทดสอบการติดฉลากข้อมูล
ทดสอบความเข้าใจกรณี Edge โครงสร้างแนวทาง การกำหนดเวอร์ชัน และความเข้าใจผิดในการเขียนแนวทางคำอธิบายประกอบ
คำถาม 1 ของ 8
เหตุใดคู่มือจึงบอกว่าข้อมูลการฝึกอบรมที่มีป้ายกำกับไม่สอดคล้องกันเป็นปัญหาโดยไม่คำนึงถึงสถาปัตยกรรมโมเดล
ดูตัวอย่างทุกคำถาม8 คำถาม
คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ
- เหตุใดคู่มือจึงบอกว่าข้อมูลการฝึกอบรมที่มีป้ายกำกับไม่สอดคล้องกันเป็นปัญหาโดยไม่คำนึงถึงสถาปัตยกรรมโมเดล
- Because the model learns noise instead of the intended concept from the labels it's given
- Because inconsistent labels always crash the training pipeline
- Because inconsistent labels increase GPU costs directly
- Because labeling has no effect on model performance
- ตามคำแนะนำ ข้อขัดแย้งระหว่างผู้อธิบายประกอบส่วนใหญ่มีต้นกำเนิดมาจากที่ใด
- From the color scheme of the labeling interface
- From edge cases not clearly resolved in the guidelines
- From the total number of labels applied per day
- From annotators using different keyboards
- คำแนะนำแนะนำให้ทำอะไรก่อนที่จะปรับขนาดแนวทางคำอธิบายประกอบเป็นชุดข้อมูลแบบเต็ม
- Skipping any pilot and labeling everything at once for speed
- Removing all edge-case examples to keep the document short
- Piloting the guidelines on a small batch, reviewing disagreements, and revising before scaling up
- Assigning the entire dataset to a single annotator only
- ตามคู่มือนี้ ความเข้าใจผิดที่บันทึกไว้เกี่ยวกับความยาวและความสม่ำเสมอของแนวทางปฏิบัติคืออะไร
- That guidelines should never include examples
- That short guidelines always cause more errors than long ones
- That guidelines don't need updating once written
- That more detailed guidelines always improve consistency, when overly long or conflicting rules can actually reduce it
- Why should guideline revisions be versioned and tied to specific data batches?
- So that if agreement scores drop after a revision, the specific change and affected batch can be identified
- So annotators can be paid differently per version
- Because labeling software requires version numbers to function
- So that the guideline document can be deleted after use
- What role do calibration sessions play according to the guide?
- They replace the need for any written guideline document
- They let annotators label the same sample and discuss disagreements together, aligning judgment on ambiguous cases
- They are used only to test annotators' typing speed
- They are a formal legal requirement for all labeling projects
- How does the guide describe the emerging relationship between annotation guidelines and LLMs?
- LLMs have made annotation guidelines entirely obsolete
- LLMs cannot use any form of written guideline
- Guidelines are starting to double as prompts for models doing first-pass labeling, with humans reviewing afterward
- Annotation guidelines are now only used for training LLMs, never humans
- In the named-entity example from the guide, how should a title like 'Dr.' attached to a name be tagged?
- As a separate title category, distinct from the person entity
- It should be left unlabeled entirely
- It should be labeled as an organization entity
- As part of the person entity, not a separate title category