Thuật ngữ thuật ngữ AI

Tính toán thời gian suy luận là gì?

Định nghĩa

Lượng năng lượng xử lý tiêu thụ trong khi tạo ra mỗi phản hồi.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Tính toán thời gian thử nghiệmTính toán suy luận bổ sung được sử dụng trong quá trình tạo phản hồi để cải thiện chất lượng hoặc lý luận.Thanh toán dựa trên việc sử dụngĐịnh giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.Mẫu chưng cấtMột mô hình nhỏ hơn được đào tạo để bắt chước hành vi của mô hình lớn hơn trong khi sử dụng ít tính toán hơn khi suy luận.Tính toánCác tài nguyên xử lý cần thiết để đào tạo và chạy các mô hình, thường được đo bằng FLOPS hoặc số giờ GPU.RAG (Thế hệ tăng cường truy xuất)Một phương pháp truy xuất kiến thức bên ngoài và đưa nó vào thế hệ tại thời điểm suy luận.Thuế liên kếtChi phí tăng thêm về thời gian, tính toán hoặc tốc độ sản phẩm cần thiết để làm cho hệ thống an toàn hơn và dễ kiểm soát hơn.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI InferenceComputer VisionSentiment AnalysisReal-Time Voice Agents

Xem thêm

InferenceInstruction TuningIn-Context LearningIntent ClassificationHyperparameterJailbreakHuman-in-the-LoopKnowledge Cutoff