Thuật ngữ thuật ngữ AI

suy luận là gì?

Định nghĩa

Giai đoạn chạy trong đó mô hình được đào tạo tạo ra dự đoán hoặc kết quả đầu ra.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Điểm cuối suy luậnGiao diện API được triển khai nhận các yêu cầu mô hình và trả về dự đoán trong quá trình sản xuất.Con người trong vòng lặpQuy trình làm việc trong đó con người xem xét, hướng dẫn hoặc ghi đè kết quả đầu ra của AI.AI hiến phápMột phương pháp đào tạo và định hình hành vi trong đó kết quả đầu ra của mô hình được hướng dẫn bởi một bộ nguyên tắc cố định bằng văn bản.Mẫu chưng cấtMột mô hình nhỏ hơn được đào tạo để bắt chước hành vi của mô hình lớn hơn trong khi sử dụng ít tính toán hơn khi suy luận.Thanh toán dựa trên việc sử dụngĐịnh giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.Giải mã suy đoánMột phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Xem thêm

In-Context LearningInference-Time ComputeHyperparameterInstruction TuningIntent ClassificationHallucinationJailbreakGuardrails