cái gì là suy luận?

Giao diện API được triển khai nhận các yêu cầu mô hình và trả về dự đoán trong quá trình sản xuất.

Quy trình làm việc trong đó con người xem xét, hướng dẫn hoặc ghi đè kết quả đầu ra của AI.

Một phương pháp đào tạo và định hình hành vi trong đó kết quả đầu ra của mô hình được hướng dẫn bởi một bộ nguyên tắc cố định bằng văn bản.

Một mô hình nhỏ hơn được đào tạo để bắt chước hành vi của mô hình lớn hơn trong khi sử dụng ít tính toán hơn khi suy luận.

Định giá khi chi phí tăng theo lệnh gọi API, mã thông báo, thời gian suy luận hoặc điện toán tiêu thụ.

Một phương pháp tăng tốc suy luận trong đó một mô hình dự thảo nhỏ đề xuất các mã thông báo mà một mô hình lớn hơn sẽ xác minh song song.