人工智慧術語

什麼是 鋁鋰?

定義

一種位置偏差方法，根據標記距離懲罰注意力分數，幫助模型推斷更長的上下文。

相關術語

RoPE（旋轉位置嵌入）
一種位置編碼方法，可旋轉查詢向量和鍵向量以對相對標記位置進行編碼。
位置編碼
新增至標記嵌入的信息，以便轉換器可以區分序列順序。
滑動視窗注意
一種注意模式，其中每個令牌僅關注附近令牌的固定大小視窗以減少計算。
演算法偏差
由於資料、假設或建模選擇的偏差而導致模型輸出的系統性不公平。
注意力機制
產生輸出時動態注意輸入的相關部分的模型組件。
偏見
數據或模型行為中一致的錯誤或不公平模式。

在我們的免費指南中了解更多信息

ALiBi Position Bias

參見

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南