概述
他們讀取標記,這些標記是字元區塊,因此模型通常永遠無法直接看到單字中的各個字母。這一事實解釋了一系列拼寫、計數、顛倒和押韻方面的奇怪錯誤,並告訴您如何解決這些錯誤。
深入探討
在語言模型看到任何文字之前,分詞器會將其拆分為標記。大多數現代分詞器使用位元組對編碼等方法,從大量文字中學習常見的字元序列。頻繁出現的單字通常會成為單一標記,而較少出現的單字則被分成幾個部分。然後,模型接收每個標記作為數字並將其轉換為向量。它永遠不會接收該令牌內的字母作為單獨的輸入。因此,當您詢問「草莓」中有多少 r 時,模型不會掃描十個字元。它可能會看到兩到三個區塊,並且必須從訓練期間學到的模式中回憶起這些區塊包含哪些字母。這種知識是存在的,但它是間接和模糊的,就像被問到字母 e 在你只看過圖片的單字中出現了多少次。草莓問題在 2024 年成為一個廣泛傳播的例子,正是因為答案對人們來說是顯而易見的,但對聊天機器人來說卻出乎意料地困難。同樣的原因會產生相關的錯誤:當要求大聲拼寫時出現拼字錯誤、錯誤地顛倒單字、失敗基於字母的限制(如離合詩或口語文字)以及錯誤計算長度限制的字元。分詞器之間的精確分割有所不同,因此一個模型可能會正確獲得給定的單詞,而另一個模型可能會失敗。一個常見的誤解是,這表明模型無法推理或只是粗心。限制主要在於輸入格式,而不是一般推理。當模型被提示首先拼出單字時,每個字母往往會成為自己的標記,並且計數變得更加容易。較新的推理模型通常會自行執行此拼字步驟,這也是它們更頻繁地答對這些問題的原因之一。對於任何精確性很重要的事情,運行一小段程式碼仍然是最可靠的方法。
現實世界的實施
當被問及字母 r 在「草莓」中出現多少次時,聊天機器人回答了兩次而不是三次,因為該單字以幾個多字母塊的形式到達模型,而不是十個單獨的字母。
老師要求模型寫一個句子,其中每個單字都以字母 s 開頭,它會插入不以字母 s 開頭的單詞,因為它必須推斷每個單字的第一個字母而不是看到它。
開發人員要求將“encyclopedia”這個詞倒過來拼寫,並得到一個字母被交換或丟失的版本;要求模型首先每行列出一個字母,然後反轉列表,修復它。
益智應用程式需要對文字遊戲進行精確的字母計數,因此它使用一行普通程式碼來計算它們,並僅使用模型來編寫提示。
法學碩士為何難以數出字母的未來
研究人員正在探索直接作用於位元組或字元的模型,以及動態分組位元組的混合設計,這可以使字元級任務更加自然。這些方法需要權衡,因為較長的輸入序列會花費更多的計算成本。同時,逐步拼出單字的推理模型和調用程式碼工具的模型已經在實踐中減少了許多此類錯誤。隨著時間的推移,令人尷尬的字母計數失敗的情況預計會減少,這是合理的,但對於需要精確字元計數的任務,使用代碼而不是信任模型的召回可能仍然是良好的做法。
付諸實踐
為什麼這很重要
- 更明確的決策. 它可以幫助您將清晰的技術聲明與行銷語言分開。
- 成本與預算. 在花費金錢或時間之前,您可以提出更好的實施問題。
- 團隊與工作流程. 具有共同理解的團隊可以做出更好的產品、政策和學習決策。
留意
- 不同的團隊可能會以不同的方式使用相同術語,因此請儘早定義範圍。
- 基準測試可能看起來很強大,但實際效能卻參差不齊。
- 忽視數據品質和評估計劃通常會產生脆弱的結果。
後續步驟
- 從您需要的結果的簡單語言定義開始。
- 在測試之前選擇一種成功指標和一種失敗條件。
- 使用代表性資料運行小型試點,而不是完善的演示集。
- 記錄法學碩士為何難以計算字母的哪些方面有幫助以及哪些更簡單的方法更好。
不斷探索
常見問題
法學碩士為何難以數出字母數?
大型語言模型難以計算字母數,因為它們不能一次讀取一個字元的文字。他們讀取標記,這些標記是字元區塊,因此模型通常永遠無法直接看到單字中的各個字母。這一事實解釋了一系列拼寫、計數、顛倒和押韻方面的奇怪錯誤,並告訴您如何解決這些錯誤。
語言模型誤算單字中字母的主要原因是什麼?
模型接收令牌,其中通常包含多個字元。令牌內的字母不是單獨的輸入,因此模型必須間接呼叫它們。
分詞器從一段文字產生什麼?
分詞器將文字從固定詞彙表分割成多個片段,並將每個片段對應到一個整數 ID,然後將其轉換為向量。
哪項提示更改最能幫助模型正確計算字母?
使用 s-t-r-a-w 等分隔符號書寫單字通常會將每個字母放在自己的標記中,這使得計數變得更加容易。
位元組對編碼透過做什麼來建構詞彙表?
BPE 從位元組或字元開始,不斷合併最頻繁的相鄰對,因此常見的字串變成單一標記。
為什麼模型會以不同的方式處理“草莓”和“草莓”?
分詞器通常在標記中包含前導空格和大小寫,因此小的表面變化可能會產生不同的標記分割。