Thuật ngữ thuật ngữ AI

Bộ đệm KV là gì?

Định nghĩa

Các tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Học tập liên tụcCác phương pháp đào tạo cho phép mô hình tiếp tục học hỏi từ dữ liệu mới mà không quên kiến thức trước đó.Lấy mẫu Top-kChiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.Học không giám sátCác mẫu học tập từ dữ liệu chưa được gắn nhãn mà không có kết quả đầu ra mục tiêu rõ ràng.Cửa sổ trượt Chú ýMột mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.câuMảnhTrình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.Hình phạt hiện diệnCài đặt giải mã làm giảm khả năng xuất hiện mã thông báo, khuyến khích các chủ đề mới.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

Xem thêm

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts