概述
它們很重要,因為它們使能力難以透過小規模實驗來預測。
深入探討
Wei 及其同事在 2022 年發表的一篇論文中流行起來,「湧現」是指較小模型的表現保持接近機會的任務,然後一旦模型跨越參數、數據或計算的大小閾值,性能就會急劇跳躍。報告的範例包括多步驟算術、某些推理基準以及遵循新穎的指令。引人注目的部分是不連續性:技能並沒有逐漸提高,似乎不存在,然後又出現。 Schaeffer 及其同事在 2023 年的後續行動中認為,某些出現在一定程度上是一種測量偽影,因為嚴格的「全有或全無」指標(例如精確匹配)會誇大突然的跳躍,而在較軟的評分下,這些跳躍看起來很平滑。這場辯論重塑了研究人員報告擴展結果和選擇評估指標的方式。
現實世界的實施
大型模型解決多步驟的文字問題,而較小的模型則在機會層級上回答。
模型在跨越規模閾值後突然遵循複雜的、前所未見的指令。
只有當模型達到足夠的尺寸時,思考鏈才會促進推理。
研究人員透過部分信用評分重新規劃「突然」的基準跳躍並找到一條平滑的曲線。
大型语言模型的新兴能力的未来
研究人員現在將擴展研究與多個指標結合起來,將真實的相位變化與偽影區分開來,並探討哪些功能真正達到了擴展的目的。更好的可預測性對於安全至關重要,因為不可預見的能力可能包括危險的能力。預計在提前預測能力的縮放法則方面會有更多工作,加上仔細的基準設計,以便所謂的「出現」反映模型行為而不是測量的怪癖。
付諸實踐
為什麼這很重要
- 速度與規模. 語言工作流程可以在不犧牲一致性的情況下更快地移動。
- 交通與覆蓋範圍. 它擴展了跨語言和溝通方式的訪問。
- 更明確的決策. 團隊可以花更多時間進行判斷,而自動化則可以處理重複。
留意
- 幻覺的事實可以悄悄地進入報告、支持流程或研究成果。
- 及時的敏感性可能會在類似的請求中產生不一致的結果。
- 如果存取控制薄弱,敏感文字資料可能會暴露。
後續步驟
- 在推出之前定義輸出格式、語氣和品質標準。
- 當準確性很重要時,請使用可信任來源進行地面回應。
- 為高風險輸出保留人工審查檢查點。
- 追蹤故障模式並定期重新訓練提示或工作流程。
不斷探索
常見問題
什麼是大型語言模式的湧現能力?
突現能力是指一旦達到一定規模就會在大型語言模型中突然出現的技能,即使較小的模型沒有表現出這些跡象。它們很重要,因為它們使能力難以透過小規模實驗來預測。
早期出現報告描述了什麼?
引用的工作描述了某些任務的明顯急劇的能力變化。
謝弗和他的同事提出了什麼替代方案?
後續文章認為非線性或不連續的指標可能會產生明顯的突然跳躍。
為什麼精確匹配的計分會讓循序漸進的技巧顯得突兀?
研究解釋說,全有或全無的指標可能會誇大不連續性。
如果使用部分分數或連續指標,可能會發生什麼情況?
論文指出,指標變化可以揭示更平滑的績效走勢。
在斷定規模門檻出現新能力之前,需要什麼?
研究辯論強調指標選擇與更佳統計方法。