技術指南

標記化和位元組對編碼

標記化將文本分割成語言模型實際讀取的小單元,而位元組對編碼 (BPE) 是建構該詞彙的流行方法。

聆聽此指南AI 語音敘述 · ~2 min

本頁閱讀時間約2分鐘
  1. 概述
  2. 深入探討
  3. 現實世界的實施
  4. 標記化和位元組對編碼的未來
  5. 付諸實踐
  6. 不斷探索
  7. 常見問題

概述

It balances having a manageable vocabulary against handling any word the model might encounter.

深入探討

語言模型看不到原始字元或整個單字——它們看到的是標記、映射到文字片段的整數 ID。選擇這些片段是一種權衡:單字級詞彙量很大,並且會因看不見或拼寫錯誤的單字而窒息,而字符級詞彙量會使序列非常長。位元組對編碼採取了中間立場。 BPE 借鑒了 20 世紀 90 年代的資料壓縮演算法,從單個字元(或原始位元組)開始,反覆將最常見的相鄰對合併成一個新的標記,從而將詞彙量擴展到常見的子字。頻繁出現的單字變成單一標記,而罕見的單字則分成可重複使用的片段。 GPT 模型使用的位元組級 BPE 會對原始位元組進行操作,因此它可以表示任何 Unicode 文字(包括表情符號和任何語言),而不會出現詞彙表以外的故障。

現實世界的實施

GPT 和 Llama 模型使用 BPE 風格的標記器將提示轉換為網路處理的標記 ID。

API 定價和上下文視窗限制以令牌來衡量,因此令牌化直接影響成本和文字適合量。

透過將表情符號、程式碼和罕見單字拆分為可重複使用的子單字或位元組片段來優雅地處理它們。

透過位元組級編碼,在一個模型中支援多種語言,而無需每種語言使用單獨的字典。

標記化和位元組對編碼的未來

代幣化正在積極重新思考。像 ByT5 這樣的位元組和字元級模型,以及新興的無令牌或「位元組潛在」架構,旨在完全放棄固定詞彙表,以便模型統一處理任何輸入和任何語言。研究人員也正在解決標記化的公平性問題——許多非英語和資源匱乏的語言目前每個句子的標記成本要高得多,從而提高了價格並縮小了有效上下文。預計分詞器會針對程式碼、數學和多語言平衡進行調整,並繼續進行實驗,將邊界推回到原始位元組。

付諸實踐

為什麼這很重要

  • 成本與預算. 多年來,架構決策決定著效能和營運成本。
  • 更明確的決策. 技術教育幫助團隊選擇正確的堆疊,而不僅僅是最新的堆疊。
  • 品質管控. 更好的工程選擇可以減少生產中的可靠性事故。

留意

  • 優化一項基準測試可以隱藏更廣泛的系統弱點。
  • 基礎設施和維護成本常常被低估。
  • 隨著系統變得更加複雜,安全性和可觀察性差距可能會擴大。

後續步驟

  1. 在實施之前定義延遲、品質和成本目標。
  2. 在實際負載和資料條件下進行基準測試。
  3. 儀器監控錯誤、漂移和使用者影響。
  4. 在擴展之前準備回滾和事件回應路徑。

不斷探索

免費電子報

獲取每日 AI 簡報

每個工作日上午提供三則經過驗證的 AI 新聞,以淺顯易懂的英文撰寫。永久免費,無廣告。

每個工作日一封電子郵件。一鍵取消訂閱。我們絕不出售或分享您的地址。

測試一下自己

Take the Tokenization and Byte Pair Encoding quiz

每個答案皆有即時回饋,通過課程後可獲得具備可驗證 ID 的可分享證書。

開始測驗

支持免費的 AI 教育。AI Understanding 是一個 501(c)(3) 非營利組織——絕無廣告,絕無付費牆。 捐款

常見問題

What is Tokenization and Byte Pair Encoding?

標記化將文本分割成語言模型實際讀取的小單元,而位元組對編碼 (BPE) 是建構該詞彙的流行方法。它平衡了擁有可管理的詞彙表和處理模型可能遇到的任何單字。

標記化會產生什麼供語言模型讀取?

模型對標記(代表字元、子詞或單字的整數 ID)進行操作,而不是對原始文字字串進行操作。

位元組對編碼如何建構其詞彙表?

BPE 從字元或位元組開始,貪婪地合併最頻繁的相鄰對,逐漸形成公共子字標記。

與字級標記化相比,BPE 等子字方法能解決什麼問題?

單字層級詞彙表無法辨識未見過的單字;子字標記化將罕見的單字分解為已知的片段,避免詞彙表外的問題,同時保持詞彙表的可管理性。

GPT 模型中使用的位元組級 BPE 有什麼優點?

對原始位元組進行操作意味著可以對每個可能的輸入進行編碼,因此無論語言或符號如何,都不存在真正未知的字元。

為什麼模型的標記計數通常與句子中的單字數不同?

子詞標記化可以將單字分成多個片段,並且對間距和大小寫敏感,因此標記計數很少等於單字計數。