人工智慧術語

什麼是 RoPE（旋轉位置嵌入）?

定義

一種位置編碼方法，可旋轉查詢向量和鍵向量以對相對標記位置進行編碼。

相關術語

位置編碼
新增至標記嵌入的信息，以便轉換器可以區分序列順序。
鋁鋰
一種位置偏差方法，根據標記距離懲罰注意力分數，幫助模型推斷更長的上下文。
RAG-融合
一種檢索方法，可產生多個查詢變體、檢索每個查詢變體的結果並融合排名。
ANN（近似最近鄰）
無需進行詳盡比較即可找到接近查詢的向量的演算法，以準確性換取速度。
RAG（檢索增強生成）
一種檢索外部知識並在推理時輸入生成的方法。
根據人類回饋進行強化學習 (RLHF)
一種使用人類偏好訊號來塑造模型行為的訓練方法。

在我們的免費指南中了解更多信息

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

參見

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南