什麼是 縮放定律?

一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。

一種訓練設置，模型透過與自身副本的互動或競爭產生資料來改進。

人工智慧系統的邏輯、資料來源和限制的記錄和理解有多清晰。

現實世界輸入資料隨時間的變化可能會降低模型效能。

模型在訓練集之外的新的、未見過的資料上的表現如何。

一個向量，顯示每個參數應改變多少以減少損失。