Thuật ngữ thuật ngữ AI

Điểm cuối suy luận là gì?

Định nghĩa

Giao diện API được triển khai nhận các yêu cầu mô hình và trả về dự đoán trong quá trình sản xuất.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

API (Giao diện lập trình ứng dụng)Một cách có cấu trúc để một hệ thống phần mềm gửi yêu cầu và nhận phản hồi từ hệ thống khác.suy luậnGiai đoạn chạy trong đó mô hình được đào tạo tạo ra dự đoán hoặc kết quả đầu ra.Thanh toán dựa trên việc sử dụngĐịnh giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.Tính toán thời gian suy luậnLượng năng lượng xử lý tiêu thụ trong khi tạo ra mỗi phản hồi.Cây quyết địnhMột mô hình đưa ra dự đoán thông qua chuỗi phân chia tính năng if-then.hòa tấuKết hợp các dự đoán từ nhiều mô hình để cải thiện độ tin cậy hoặc độ chính xác.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Xem thêm

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI