What is Quantization? Definition | AI Understanding

定义

将模型权重转换为较低精度的格式，例如 8 位或 4 位。

相关术语

降低模型权重的数值精度以减少内存和推理成本。

一种微调技术，将 4 位权重量化与 LoRA 适配器相结合，以减少内存需求。

核心训练算法通过网络向后传播预测误差来更新模型权重。

卷积神经网络（CNN）

一种针对处理图像等网格数据而优化的神经架构。

将原始数据转换为模型可以使用的信息特征。

生成文本、图像、音频、视频或代码等新内容的人工智能系统。

在我们的免费指南中了解更多信息

Residual Vector Quantization SmoothQuant and Activation Quantization GPTQ and AWQ Post-Training Quantization Quantization

参见

Pruning RAG (Retrieval-Augmented Generation)Prompt Injection Recall Prompt Engineering Recommendation System Prompt Red Teaming

浏览完整的人工智能术语表探索所有免费的人工智能指南