典型採樣
典型的採樣是一種文本生成方法，它從資訊內容接近模型預期驚喜的標記中挑選下一個單詞，而不是總是抓住最可能的單詞。
概述
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
深入探討
當語言模型預測下一個標記時，它會產生數千個選項的機率分佈。貪婪和 top-k 方法偏向高機率標記，這會使文字重複且平淡。 Meister 及其同事於 2022 年引入的典型抽樣採用了植根於資訊理論的不同角度。此模型計算其預期資訊內容（分佈的熵）。然後根據他們自己的驚喜與期望的差距來對代幣進行評分。典型的採樣會保留驚奇程度最接近平均值的標記集，直到它們的組合機率達到閾值，然後從該集中進行採樣。結果是文本既不是令人震驚的隨機性，也不是單調可預測的，反映了人類在穩定的資訊速率附近自然交流的方式。
技術洞察
對於每個候選標記，模型計算意外的負對數機率。它還計算條件熵，即所有標記的機率加權平均驚喜。典型的採樣根據令牌的意外值和熵之間的絕對差對令牌進行排名，然後貪婪地添加最接近的令牌，直到它們的累積機率達到參數 tau（通常在 0.9 到 0.95 左右）。採樣僅發生在這個局部典型集合內，抑制極端異常值和最乏味的高機率選擇。
戰略影響
速度與規模
語言工作流程可以在不犧牲一致性的情況下更快地移動。
交通與覆蓋範圍
它擴展了跨語言和溝通方式的訪問。
更明確的決策
團隊可以花更多時間進行判斷，而自動化則可以處理重複。
典型採樣的未來
在 llama.cpp 和 Hugging Face Transformers 等開源推理堆疊中，典型採樣正在成為與 top-p 和 top-k 一起的標準選項。預計它將在創意寫作、對話和故事生成中越來越多的使用，因為過度安全的解碼會損害品質。研究人員正在將其與根據上下文而變化的自適應閾值相結合，並將其與重複懲罰相結合。隨著資訊理論解碼的成熟，典型的採樣可能會為自動的、分佈感知的方法提供訊息，從而淘汰手動調節的溫度設定。
現實世界的實施
生成小說或詩歌時，貪婪的解碼會產生枯燥、重複的散文，而作家想要更自然的多樣性。
支援聊天機器人的回复，避免機械式、公式化的措辭，同時保持連貫和切中主題。
可用作 Hugging Face Transformers 中的解碼標誌 (典型_p)，供開發人員調整開源模型輸出。
在 llama.cpp 和 text- Generation-webui 等本地 LLM 運行時中使用，作為 top-p 的替代品，以獲得更豐富、更少退化的文本。
風險與防護欄
幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
及時的敏感性可能會在類似的請求中產生不一致的結果。
如果存取控制薄弱，敏感文字資料可能會暴露。
實施路線圖
在推出之前定義輸出格式、語氣和品質標準。
當準確性很重要時，請使用可信任來源進行地面回應。
為高風險輸出保留人工審查檢查點。
追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
常見問題
What is Typical Sampling?
典型的採樣是一種文本生成方法，它從資訊內容接近模型預期驚喜的標記中挑選下一個單詞，而不是總是抓住最可能的單詞。它的目標是透過匹配真實語言在可預測性和新穎性之間的平衡，使輸出感覺自然且像人類一樣。
典型抽樣將每個候選令牌與什麼核心數量進行比較？
典型的採樣測量每個令牌的意外與分佈的熵（預期資訊內容）的距離，保持意外最接近平均值的令牌。
典型採樣如何處理單一最可能的標記？
機率非常高的標記具有非常低的意外性，這可能與平均值相差甚遠，因此典型的採樣可能會將其排除在候選集中之外，而有利於更「典型」的標記。
典型的採樣是由哪種關於人類語言的想法激發的？
這個方法基於這樣的假設：自然語言保持接近統一的資訊率，因此它有利於帶有接近平均驚喜程度的標記。
典型採樣控制中的tau參數是什麼？
Tau設定目標累積機率；增加最接近熵的標記，直到它們的組合機率達到 tau，從而定義從中進行採樣的集合。
開發人員通常會接觸到哪種軟體的典型採樣？
典型採樣在 Hugging Face Transformers 等庫和 llama.cpp 等本地運行時中作為解碼選項（例如 generic_p）實現。