什麼是 反向傳播?

量化訓練期間預測誤差的數學目標。

一個學習的數值，用來縮放通過神經網路的訊號。

一種優化的注意力演算法，可減少記憶體使用並加速 Transformer 訓練和推理。

一種訓練設置，模型透過與自身副本的互動或競爭產生資料來改進。

當訓練資料中存在基準測試範例或相近變體時，會誇大報告的效能。

子詞標記化演算法，將最常見的字元對合併為可重複使用的標記。