What is On-Device AI? Definition | AI Understanding

Định nghĩa

Suy luận AI được thực hiện cục bộ trên phần cứng của người dùng thay vì trên dịch vụ đám mây từ xa.

Điều khoản liên quan

Suy luận nhân quả

Các phương pháp ước tính mối quan hệ nhân quả thay vì các mối tương quan đơn giản.

Tìm kiếm ngữ nghĩa

Tìm kiếm phù hợp với ý nghĩa thay vì trùng lặp từ khóa chính xác, thường sử dụng các từ khóa nhúng.

Giai đoạn chạy trong đó mô hình được đào tạo tạo ra dự đoán hoặc kết quả đầu ra.

Tính toán thời gian suy luận

Lượng năng lượng xử lý tiêu thụ trong khi tạo ra mỗi phản hồi.

Phân loại ý định

Dự đoán mục đích của người dùng từ một truy vấn văn bản để định tuyến chính xác.

Lượng tử hóa mô hình

Giảm độ chính xác về số của trọng số mô hình để giảm chi phí bộ nhớ và suy luận.

Xem thêm

Model Registry Output Parser Latent Space Prompt Template Knowledge Base Retrieval Precision Inference Endpoint Safety Case

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí