文本分类
文本分类会自动将文本片段分类，例如将电子邮件标记为垃圾邮件或将评论标记为正面。
概述
它是部署最广泛的 NLP 任务之一，因为它将杂乱的自由文本转换为系统可以操作的结构化标签。
深入探讨
分类涵盖多种形状。二元分类选择两个标签之一（垃圾邮件或非垃圾邮件）。多类别从多个选项中精确分配一个标签（将票证路由到计费、销售或支持）。多标签允许同时使用多个标签（一篇文章同时标记“政治”和“经济”）。情感分析、主题标记、意图检测和毒性过滤都是分类任务。现代系统将文本转换为捕获含义的数字嵌入，然后分类器将这些特征映射到标签概率。衡量绩效的指标超出了简单的准确性，因为真实数据通常是不平衡的；精确度（有多少标记的项目是正确的）和召回率（捕获了多少真实案例）很重要，F1 分数平衡了两者。阶级失衡（某一类别占主导地位）是一个常见的陷阱。
技术洞察
典型的管道使用 BERT 等模型将文本编码为密集向量，然后将其传递到最后一层，输出每个类别的分数。 softmax 将分数转换为单标签任务的概率，而每个标签的 sigmoid 则处理类别独立的多标签任务。使用大型语言模型，只需在提示中描述类别，无需标记训练集，就可以零次完成相同的任务，以牺牲一定的准确性和一致性来换取设置的灵活性和速度。
战略影响
速度与规模
语言工作流程可以在不牺牲一致性的情况下更快地移动。
交通与覆盖范围
它扩展了跨语言和沟通方式的访问。
更清晰的判决
团队可以花更多时间进行判断，而自动化则可以处理重复。
文本分类的未来
使用大型语言模型的零样本和少样本分类减少了手动标记数千个示例的需要，使团队可以从简短的描述中启动新的分类器。预计会有更多的混合设置，其中法学硕士引导标签，训练更小、更便宜、更快的专业模型进行生产。可解释性变得越来越重要，特别是对于内容审核和简历筛选等敏感用途，了解为什么分配标签很重要。针对对抗性或变化性语言（例如垃圾邮件发送者改写以躲避过滤器）的鲁棒性仍然是一个积极的焦点。
现实世界的实施
电子邮件提供商从您的收件箱中过滤垃圾邮件和网络钓鱼邮件。
品牌对产品评论和社交帖子进行情绪分析，以衡量客户情绪。
支持台根据消息内容自动将收到的工单路由到正确的团队。
社交平台标记仇恨言论或有毒评论以供审核。
风险与防护栏
幻觉的事实可以悄悄地进入报告、支持流程或研究成果。
及时的敏感性可能会在类似的请求中产生不一致的结果。
如果访问控制薄弱，敏感文本数据可能会暴露。
实施路线图
在推出之前定义输出格式、语气和质量标准。
当准确性很重要时，请使用可信来源进行地面响应。
为高风险输出保留人工审查检查点。
跟踪故障模式并定期重新训练提示或工作流程。
不断探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Text Classification quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常见问题
什么是文本分类？
文本分类会自动将文本片段分类，例如将电子邮件标记为垃圾邮件或将评论标记为正面。它是部署最广泛的 NLP 任务之一，因为它将杂乱的自由文本转换为系统可以操作的结构化标签。
文本分类的目标是什么？
文本分类为一段文本分配一个或多个类别标签，将自由文本转换为结构化输出。
哪个场景是多标签分类的示例？
多标签分类允许多个类别同时应用于同一项目。
为什么简单的准确性常常是文本分类的误导性指标？
当一个类别占主导地位时，总是预测该类别会产生很高的准确率，但不会捕获任何有用的信息，因此需要精确度、召回率和 F1。
分类任务中召回率衡量什么？
召回率是系统正确识别的真阳性案例的比例，记录了它错过了多少。
“零样本”文本分类是什么意思？
零样本分类允许大型语言模型仅根据描述它们的提示来分配类别，而无需标记的训练集。