Thuật ngữ thuật ngữ AI

Độ trễ là gì?

Định nghĩa

Khoảng thời gian từ khi gửi yêu cầu đến khi nhận được đầu ra của mô hình.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Cơ chế chú ýMột thành phần mô hình tập trung động vào các phần có liên quan của đầu vào khi tạo ra đầu ra.Hệ thống tự trịMột hệ thống có thể đưa ra quyết định và hành động với sự kiểm soát hạn chế hoặc không có sự kiểm soát trực tiếp của con người trong thời gian thực.KẸPMột kiến trúc mô hình đa phương thức học cách biểu diễn chung giữa văn bản và hình ảnh.Trôi dữ liệuSự thay đổi dữ liệu đầu vào trong thế giới thực theo thời gian có thể làm giảm hiệu suất của mô hình.Tính toán thời gian suy luậnLượng năng lượng xử lý tiêu thụ trong khi tạo ra mỗi phản hồi.Hạn chế kiến thứcThời điểm mới nhất được phản ánh trong dữ liệu huấn luyện của mô hình.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Xem thêm

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak