概述
它会在选定的模式下查找提及内容。将提及链接到特定的现实世界记录是一项单独的实体链接任务。
主要要点
- 定义类型和跨度边界。
- 保留原始文本的偏移量。
- 将识别与身份链接分开。
深入探讨
在训练或评估之前定义实体类型和跨度规则。是否应该包含公司后缀？产品是一个组织、一个单独的类型还是在架构之外？不一致的注释规则可能会使数据集内部矛盾。 NER 系统可以分配令牌级别标签并将相邻令牌组合成跨度。将标签与原始文本对齐时，子词标记化需要小心。保留字符偏移量，以便应用程序可以准确显示哪个段落产生了提取的值。评估边界和类型。当注释的组织是“Northstar Research Labs”时，仅识别“Northstar”可能会被视为跨度错误，即使一般类别是正确的。报告匹配约定的精确度和召回率，以便可以解释分数。上下文可以改变标签。 “约旦”可能在不同的段落中指代一个人、国家或组织。已识别的名称不是经过验证的身份信息。当使用提取进行编辑、搜索或记录匹配时，测试下游结果并明确处理不明确或遗漏的提及。
04工作示例
无需发明身份即可识别提及内容
使用发明的句子“乔丹于六月加入北极星研究实验室。”
在记录的模式下，将乔丹标记为个人提及，将北极星研究实验室标记为组织提及。
不要附加特定的传记或公司注册信息，除非单独的链接步骤有匹配的证据。
它显示了什么
构建的示例将定位名称与解析它所标识的人或内容分开。
现实世界的实施
使用原始文本偏移突出显示新闻文章中提到的组织。
在批准经过编辑的文档之前，为可能的名称建立审核队列。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
资料来源与延伸阅读
- Hugging Face代币分类
不断探索
常见问题
找到名字就能证明这个人是谁吗？
不可以。文字提及可能会含糊不清。将其解决为特定人员需要额外的证据和单独的链接过程。