Thuật ngữ thuật ngữ AI

Lấy mẫu Top-k là gì?

Định nghĩa

Chiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

Lấy mẫu Top-p (Hạt nhân)Chiến lược giải mã lấy mẫu từ tập mã thông báo nhỏ nhất có tổng xác suất là p.Giải mã được bảo vệChiến lược tạo giới hạn mã thông báo đầu ra ở các cấu trúc hợp lệ hoặc các lựa chọn tuân thủ chính sách.Học ít lầnHọc hỏi hoặc điều chỉnh hành vi chỉ từ một số ít ví dụ.PerplexityMột thước đo mô hình ngôn ngữ đo lường mức độ ngạc nhiên của mô hình đối với các mã thông báo tiếp theo thực sự.Giải mã suy đoánMột phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.Bộ đệm KVCác tensor khóa và giá trị được lưu trữ từ các mã thông báo trước đó cho phép bộ chuyển đổi tạo mã thông báo mới mà không cần tính toán lại sự chú ý trong quá khứ.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Typical SamplingSpeculative Sampling VerificationEntropy-Based SamplingEarly Stopping

Xem thêm

Tool UseTokenizationTransfer LearningTokenTransformerTemperatureTraining LossSystem Prompt