What is Model Quantization? Definition | AI Understanding

定義

降低模型權重的數值精度以減少記憶體和推理成本。

相關術語

將模型權重轉換為較低精確度的格式，例如 8 位元或 4 位元。

一種微調技術，將 4 位元權重量化與 LoRA 適配器結合，以減少記憶體需求。

一種優化的注意力演算法，可減少記憶體使用並加速 Transformer 訓練和推理。

記憶體（代理記憶體）

AI 代理程式跨步驟或會話使用儲存的上下文來提高連續性。

人工智慧代理

一種可以觀察、推理並採取行動來實現目標的軟體系統，通常使用工具和記憶體。

人工智慧安全

該領域專注於減少人工智慧系統中的有害行為、故障和誤用風險。

在我們的免費指南中了解更多信息

AI Models Explained Model Collapse Model Lifecycle Model Context Protocol

參見

Model Drift Multimodal Model Model Card Named Entity Recognition (NER)Mixture of Experts (MoE)Natural Language Processing (NLP)Neural Network Machine Learning (ML)

瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南