cái gì là Thanh toán dựa trên việc sử dụng?

Lượng năng lượng xử lý tiêu thụ trong khi tạo ra mỗi phản hồi.

Tính toán suy luận bổ sung được sử dụng trong quá trình tạo phản hồi để cải thiện chất lượng hoặc lý luận.

Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Giai đoạn chạy trong đó mô hình được đào tạo tạo ra dự đoán hoặc kết quả đầu ra.

Một phương pháp truy xuất kiến thức bên ngoài và đưa nó vào thế hệ tại thời điểm suy luận.