What is Speculative Decoding? Definition | AI Understanding

Định nghĩa

Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.

Điều khoản liên quan

Thanh toán dựa trên việc sử dụng

Định giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.

Cửa sổ trượt Chú ý

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Giai đoạn chạy trong đó mô hình được đào tạo tạo ra dự đoán hoặc kết quả đầu ra.

RAG (Thế hệ tăng cường truy xuất)

Một phương pháp truy xuất kiến thức bên ngoài và đưa nó vào thế hệ tại thời điểm suy luận.

Lấy mẫu Top-k

Chiến lược giải mã chỉ lấy mẫu từ k mã thông báo tiếp theo có khả năng xảy ra nhất.

Mẫu chưng cất

Một mô hình nhỏ hơn được đào tạo để bắt chước hành vi của mô hình lớn hơn trong khi sử dụng ít tính toán hơn khi suy luận.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Contrastive Decoding Minimum Bayes Risk Decoding Speculative Sampling Verification Self-Consistency Decoding

Xem thêm

Zero Data Retention KV Cache MCP (Model Context Protocol)Trust Calibration Agentic Loop Test-Time Compute ReAct Structured Output

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí