What is Quantization? Definition | AI Understanding

Định nghĩa

Chuyển đổi trọng số mô hình sang các định dạng có độ chính xác thấp hơn như 8 bit hoặc 4 bit.

Điều khoản liên quan

Lượng tử hóa mô hình

Giảm độ chính xác về số của trọng số mô hình để giảm chi phí bộ nhớ và suy luận.

Một kỹ thuật tinh chỉnh kết hợp lượng tử hóa trọng lượng 4 bit với bộ điều hợp LoRA để giảm nhu cầu bộ nhớ.

Lan truyền ngược

Thuật toán đào tạo cốt lõi cập nhật trọng số mô hình bằng cách truyền ngược các lỗi dự đoán qua mạng.

Mạng thần kinh chuyển đổi (CNN)

Kiến trúc thần kinh được tối ưu hóa để xử lý dữ liệu dạng lưới như hình ảnh.

Trích xuất tính năng

Chuyển đổi dữ liệu thô thành các tính năng thông tin mà mô hình có thể sử dụng.

Hệ thống AI tạo ra nội dung mới như văn bản, hình ảnh, âm thanh, video hoặc mã.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Residual Vector Quantization SmoothQuant and Activation Quantization GPTQ and AWQ Post-Training Quantization Quantization

Xem thêm

Pruning RAG (Retrieval-Augmented Generation)Prompt Injection Recall Prompt Engineering Recommendation System Prompt Red Teaming

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí