語言人工智慧指南

文字分類

文字分類會自動將文字片段分類,例如將電子郵件標記為垃圾郵件或將評論標記為正面。

閱讀時間約2分鐘最後更新

概述

It is one of the most widely deployed NLP tasks because it turns messy free text into structured labels a system can act on.

深入探討

分類涵蓋多種形狀。二元分類選擇兩個標籤之一(垃圾郵件或非垃圾郵件)。多類別從多個選項中精確分配一個標籤(將票證路由到計費、銷售或支援)。多標籤允許同時使用多個標籤(一篇文章同時標記“政治”和“經濟”)。情緒分析、主題標記、意圖檢測和毒性過濾都是分類任務。現代系統將文字轉換為捕獲含義的數字嵌入,然後分類器將這些特徵映射到標籤機率。衡量績效的指標超出了簡單的準確性,因為真實數據通常是不平衡的;精確度(有多少標記的項目是正確的)和召回率(捕獲了多少真實案例)很重要,F1 分數平衡了兩者。階級失衡(某一類別占主導地位)是常見的陷阱。

技術洞察

典型的管道使用 BERT 等模型將文字編碼為密集向量,然後將其傳遞到最後一層,輸出每個類別的分數。 softmax 將分數轉換為單標籤任務的機率,而每個標籤的 sigmoid 則處理類別獨立的多標籤任務。使用大型語言模型,只需在提示中描述類別,無需標記訓練集,就可以零次完成相同的任務,以犧牲一定的準確性和一致性來換取設定的靈活性和速度。

戰略影響

速度與規模

語言工作流程可以在不犧牲一致性的情況下更快地移動。

交通與覆蓋範圍

它擴展了跨語言和溝通方式的訪問。

更明確的決策

團隊可以花更多時間進行判斷,而自動化則可以處理重複。

文本分類的未來

使用大型語言模型的零樣本和少樣本分類減少了手動標記數千個範例的需要,使團隊可以從簡短的描述中啟動新的分類器。預計會有更多的混合設置,其中法學碩士引導標籤,訓練更小、更便宜、更快的專業模型進行生產。可解釋性變得越來越重要,特別是對於內容審核和履歷篩選等敏感用途,了解為什麼分配標籤很重要。針對對抗性或變化性語言(例如垃圾郵件發送者改寫以躲避過濾器)的穩健性仍然是一個積極的焦點。

現實世界的實施

電子郵件提供者從您的收件匣中過濾垃圾郵件和網路釣魚郵件。

品牌對產品評論和社交貼文進行情緒分析,以衡量客戶情緒。

支援台根據訊息內容自動將收到的工單路由到正確的團隊。

社交平台標記仇恨言論或有毒評論以供審核。

風險與防護欄

幻覺的事實可以悄悄地進入報告、支持流程或研究成果。

及時的敏感性可能會在類似的請求中產生不一致的結果。

如果存取控制薄弱,敏感文字資料可能會暴露。

實施路線圖

1

在推出之前定義輸出格式、語氣和品質標準。

2

當準確性很重要時,請使用可信任來源進行地面回應。

3

為高風險輸出保留人工審查檢查點。

4

追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Text Classification quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

開始測驗

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

常見問題

What is Text Classification?

文字分類會自動將文字片段分類,例如將電子郵件標記為垃圾郵件或將評論標記為正面。它是部署最廣泛的 NLP 任務之一,因為它將雜亂的自由文字轉換為系統可以操作的結構化標籤。

文本分類的目標是什麼?

文字分類為一段文字分配一個或多個類別標籤,將自由文字轉換為結構化輸出。

哪個場景是多標籤分類的範例?

多標籤分類允許多個類別同時應用於同一項目。

為什麼簡單的準確性常常是文字分類的誤導性指標?

當一個類別占主導地位時,總是預測該類別會產生很高的準確率,但不會捕獲任何有用的信息,因此需要精確度、召回率和 F1。

分類任務中召回率衡量什麼?

召回率是系統正確識別的真陽性案例的比例,記錄了它錯過了多少。

「零樣本」文字分類是什麼意思?

零樣本分類允許大型語言模型僅根據描述它們的提示來分配類別,而無需標記的訓練集。