什麼是 注意力機制?

將輸入轉換為潛在表示的模型組件。

一種並行運行多個注意力操作以捕獲不同類型關係的轉換器機制。

一種位置偏差方法，根據標記距離懲罰注意力分數，幫助模型推斷更長的上下文。

模型將輸入分配給一個或多個預定義類別的任務。

語言模型一次可以處理的輸入標記的最大數量。

現實世界輸入資料隨時間的變化可能會降低模型效能。