語言人工智慧指南

句段標記化

SentencePiece 是一種與語言無關的分詞器,它學習如何直接從資料將原始文字分割成子詞片段,而不依賴空格。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. SentencePiece 標記化的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

透過以相同的方式對待任何語言,它使多語言模型的建構變得更加容易。

深入探討

大多數分詞器假定單字之間用空格分隔,這對於不使用空格的語言(例如日語、中文或泰語)來說是錯誤的。 SentencePiece 由 Google 於 2018 年發布,透過將輸入視為原始字元流(包括空格)並從資料本身學習子字單元的詞彙表來迴避這一問題。眾所周知,它會用可見標記(類似下劃線的元符號)替換空格,因此標記化是完全可逆的:您始終可以重建準確的原始文字。 SentencePiece 支援兩種主要演算法,位元組對編碼(BPE)和 Unigram 語言模型,後者是其簽章方法。由於它不需要特定於語言的預標記化,因此相同的管道適用於數百種語言,這就是 T5、ALBERT 等模型和許多多語言系統依賴它的原因。

現實世界的實施

Google 的 T5 模型,它使用在多語言 Web 文本上訓練的 SentencePiece 詞彙表。

對單字之間沒有空格的日文或中文文字進行標記,而基於單字的標記器會失敗。

為多語言翻譯系統建構跨 100 多種語言的單一共享詞彙表。

從標記無損地重建原始輸入(包括間距),對於空格很重要的程式碼產生很有用。

SentencePiece 標記化的未來

由於其可逆性和語言中立性,SentencePiece 仍然是多語言和程式碼模型的主力。該領域正在逐漸探索完全跳過子詞詞彙的字節級和無標記器的方法,旨在消除損害算術、罕見語言和長數字的標記化怪癖。即便如此,SentencePiece 的 Unigram 和位元組回退設計繼續影響較新的分詞器,其無損、從原始文字訓練的理念將在不久的將來保持基礎。

付諸實踐

為什麼這很重要

  • 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
  • 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
  • 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。

留意

  • 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
  • 及時的敏感性可能會在類似的請求中產生不一致的結果。
  • 如果存取控制薄弱,敏感文字資料可能會暴露。

後續步驟

  1. 在推出之前定義輸出格式、語氣和品質標準。
  2. 當準確性很重要時,請使用可信任來源進行地面回應。
  3. 為高風險輸出保留人工審查檢查點。
  4. 追蹤故障模式並定期重新訓練提示或工作流程。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the SentencePiece Tokenization quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

什麼是 SentencePiece 標記化?

SentencePiece 是一種與語言無關的分詞器,它學習如何直接從資料將原始文字分割成子詞片段,而不依賴空格。透過以相同的方式對待任何語言,它使多語言模型的建構變得更加容易。

SentencePiece 避免了傳統分詞器所依賴的哪些關鍵假設?

SentencePiece 將輸入視為原始字元流,因此它甚至適用於單字之間沒有空格的語言。

為什麼 SentencePiece 要用可見的元符號替換空格?

將空格編碼為可見標記意味著原始文字(包括間距)始終可以準確地重建。

SentencePiece 主要支援哪兩種演算法?

SentencePiece 提供位元組對編碼 (BPE) 和 Unigram 語言模型,其中 Unigram 是其簽章方法。

Unigram 模型如何建構詞彙?

Unigram 從許多候選片段開始,並使用期望最大化迭代地刪除那些對語料庫可能性貢獻最小的候選片段。

哪個模型著名地使用了 SentencePiece 分詞器?

Google 的 T5 使用 SentencePiece 詞彙表,ALBERT 和許多多語言模式也是如此。