Thuật ngữ thuật ngữ AI

cái gì là Bộ đệm KV?

Định nghĩa

Các tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.

Điều khoản liên quan

Học tập liên tục
Các phương pháp đào tạo cho phép mô hình tiếp tục học hỏi từ dữ liệu mới mà không quên kiến thức trước đó.
Lấy mẫu Top-k
Chiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.
Học không giám sát
Các mẫu học tập từ dữ liệu chưa được gắn nhãn mà không có kết quả đầu ra mục tiêu rõ ràng.
Cửa sổ trượt Chú ý
Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.
câuMảnh
Trình mã thông báo bất khả tri về ngôn ngữ học các đơn vị từ phụ trực tiếp từ văn bản thô mà không cần phân tách trước khoảng trắng.
Hình phạt hiện diện
Cài đặt giải mã làm giảm khả năng xuất hiện mã thông báo, khuyến khích các chủ đề mới.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

KV CacheKV Cache Optimization

Xem thêm

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí