概述
任务包括对文档进行分类、查找命名实体、翻译文本、检索信息和生成响应。不同的任务需要不同的输出和评估方法。
主要要点
- 精确定义语言任务。
- 保留上下文和源段落。
- 评估现实的语言变化。
深入探讨
文本必须以计算系统可以处理的形式表示。分词将其分割成单词或单词片段等单元；然后数字表示支持规则、统计模型或神经网络。标记边界是一种建模选择，并不总是与读者对某个单词的看法保持一致。有些任务返回整个文档的标签。其他人识别其中的跨度或产生新的序列。因此，即使情感分类器、实体识别器和摘要器都使用相同的底层语言模型，它们也会解决不同的问题。背景很重要。单词的含义可以在句子、领域和社区之间发生变化。否定、模棱两可的引用、讽刺、拼写变化和混合语言可能会挑战一个在整洁的例子上显得准确的系统。根据应用程序实际遇到的条件构建评估材料。有效的 NLP 应用程序还需要输入长度、文档边界和不确定性的规则。检查截断是否静默删除重要部分。将原始段落保留在提取的信息旁边，以便读者可以确认结果。当任务足够窄时，与简单规则或关键字基线进行比较。
04工作示例
分开三种语言任务
使用发明的句子“北极星实验室的米娜说延迟发布令人失望。”
实体任务可以将 Mina 标记为个人，将 Northstar Labs 标记为组织。情绪任务可以将表达的反应归类为负面。
摘要可能会指出米娜批评了发射延迟。检查它是否没有发明延迟的原因。
它显示了什么
同一句话支持不同的输出；每个都需要自己的正确性标准。
现实世界的实施
在提供的文章中查找组织名称，同时保留其文本范围。
将传入请求路由到一组记录的类别中。
付诸实践
为什么这很重要
- 速度与规模. 语言工作流程可以在不牺牲一致性的情况下更快地移动。
- 交通与覆盖范围. 它扩展了跨语言和沟通方式的访问。
- 更清晰的判决. 团队可以花更多时间进行判断，而自动化则可以处理重复。
留意
- 幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
- 及时的敏感性可能会在类似的请求中产生不一致的结果。
- 如果访问控制薄弱，敏感文本数据可能会暴露。
后续步骤
- 在推出之前定义输出格式、语气和质量标准。
- 当准确性很重要时，请使用可信来源进行地面响应。
- 为高风险输出保留人工审查检查点。
- 跟踪故障模式并定期重新训练提示或工作流程。
资料来源与延伸阅读
- Hugging Face自然语言处理和大语言模型
不断探索
常见问题
NLP 和 LLM 一样吗？
不会。NLP 是一个涵盖多种方法和任务的领域。大型语言模型是其中使用的一系列工具。