人工智慧術語

什麼是 閃光注意?

定義

一種優化的注意力演算法，可減少記憶體使用並加速 Transformer 訓練和推理。

相關術語

特徵庫
一個託管系統，用於一致地儲存和提供經過驗證的 ML 功能，以進行訓練和推理。
反向傳播
核心訓練演算法透過網路向後傳播預測誤差來更新模型權重。
模型量化
降低模型權重的數值精度以減少記憶體和推理成本。
變壓器
一種神經架構，利用注意力並行地對序列之間的關係進行建模。
訓練損失
模型誤差值在訓練期間計算並隨著時間的推移向下最佳化。
多頭注意力
一種並行運行多個注意力操作以捕獲不同類型關係的轉換器機制。

在我們的免費指南中了解更多信息

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

參見

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南