Tiếp theoHướng dẫn tiếp theo
Đếm mã thông báo và định giá API LLM
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Để ước tính chi phí API LLM, hãy nhân số mã thông báo mà mỗi yêu cầu gửi và nhận với giá mỗi mã thông báo của nhà cung cấp, sau đó chia tỷ lệ theo số lượng yêu cầu bạn mong đợi.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Thực hiện việc này trước khi ra mắt sẽ giúp ngăn ngừa các hóa đơn bất ngờ và cho biết liệu một tính năng có thể được định giá có lãi hay không. Nó cũng cho thấy những lựa chọn thiết kế nào, chẳng hạn như lịch sử trò chuyện dài, sẽ thúc đẩy chi tiêu.
Lập hóa đơn API LLM bằng mã thông báo. Mã thông báo là một đoạn văn bản có trung bình khoảng bốn ký tự hoặc khoảng ba phần tư từ bằng tiếng Anh. Các ngôn ngữ và mã khác thường cần nhiều mã thông báo hơn cho cùng một ý nghĩa và mã thông báo của mỗi nhà cung cấp có cách tính khác nhau một chút. Giá được tính trên mỗi triệu token, với mức giá riêng biệt cho đầu vào (mọi thứ bạn gửi) và đầu ra (mọi thứ mà mô hình tạo ra). Đầu ra thường có giá cao hơn nhiều lần so với đầu vào. Một ước tính đáng tin cậy tuân theo năm bước: 1. Xác định từng nhiệm vụ mà tính năng thực hiện. 2. Đo lường mã thông báo theo yêu cầu bằng cách sử dụng lời nhắc mẫu thực tế và trình mã thông báo hoặc điểm cuối đếm mã thông báo của nhà cung cấp. Đếm lời nhắc của hệ thống, tài liệu được truy xuất, lịch sử hội thoại, đầu vào của người dùng và đầu ra dự kiến. 3. Ước tính khối lượng: số lượng người dùng đang hoạt động yêu cầu mỗi người dùng mỗi ngày. 4. Nhân số token theo giá và khối lượng. 5. Thêm chi phí cho số lần thử lại, cuộc gọi không thành công, hoạt động đánh giá và tăng trưởng. Dưới đây là một ví dụ hoạt động sử dụng mức giá giả định là 3 USD trên một triệu token đầu vào và 15 USD trên một triệu token đầu ra. Một yêu cầu có 2.000 mã thông báo đầu vào có giá 0,006 USD cho đầu vào. 400 mã thông báo đầu ra của nó có giá thêm 0,006 USD, do đó yêu cầu có giá 0,012 USD. Với 10.000 yêu cầu mỗi ngày, tức là 120 USD một ngày hoặc khoảng 3.600 USD trong một tháng 30 ngày, chưa bao gồm chi phí chung. Lỗi ước tính lớn nhất đến từ điều mọi người quên: - Hầu hết các ứng dụng trò chuyện đều gửi lại cuộc trò chuyện mỗi lần. Đầu vào tăng lên theo từng tin nhắn, do đó, một cuộc trò chuyện dài sẽ tốn kém hơn nhiều so với nhiều cuộc trò chuyện ngắn. - Các tính năng tăng cường truy xuất có thể thêm hàng nghìn mã thông báo ngữ cảnh cho mỗi lệnh gọi. - Các mô hình suy luận tạo ra các mã thông báo tư duy nội bộ được tính là đầu ra ngay cả khi chúng không được hiển thị. - Đại lý thực hiện nhiều cuộc gọi cho mỗi hành động của người dùng. Giảm giá thay đổi toán học. Bộ nhớ đệm nhắc nhở làm giảm giá của các tiền tố lặp lại và hoạt động chiết khấu API hàng loạt có thể chờ đợi. Luôn kiểm tra trang giá hiện tại của nhà cung cấp vì giá thay đổi thường xuyên.
Một nhóm xây dựng tính năng soạn thảo email sẽ chạy một loạt lời nhắc kiểm tra thực tế thông qua mã thông báo. Nó nhận thấy lời nhắc hệ thống chiếm hơn một nửa tổng số mã thông báo đầu vào, vì vậy nó rút ngắn lời nhắc trước khi khởi chạy.
Dự báo chatbot giả định một lời nhắc ngắn mỗi lượt và sẽ ngừng hoạt động khi nhóm nhận thấy rằng mỗi lượt sẽ gửi lại toàn bộ cuộc trò chuyện. Dự báo sửa đổi giới hạn lịch sử và tóm tắt các lượt cũ hơn.
Công việc hàng đêm phân loại hàng chục nghìn phiếu hỗ trợ sẽ chuyển sang API lô chiết khấu của nhà cung cấp. Không có kết quả nào là cần thiết ngay lập tức, vì vậy sự chậm trễ không tốn kém gì.
Một công ty khởi nghiệp lập ngân sách cho một mô hình lý luận biết rằng các mã thông báo lý luận ẩn được tính phí dưới dạng đầu ra. Ước tính của nó chỉ tính đến câu trả lời hiển thị, vì vậy nó phải tăng chi phí cho mỗi yêu cầu lên nhiều lần.
Giá mỗi mã thông báo thường giảm ở một mức khả năng nhất định. Các nhà cung cấp tiếp tục bổ sung các tùy chọn về giá như giảm giá bộ nhớ đệm, giá theo lô và cấp độ dịch vụ theo cấp độ. Điều đó làm cho việc sử dụng LLM rẻ hơn nhưng việc ước tính phức tạp hơn vì cách thiết lập rẻ nhất phụ thuộc vào nhu cầu về độ trễ và cấu trúc kịp thời. Khối lượng công việc lý luận và tác nhân đang chuyển chi phí chính từ thời lượng đầu vào sang mã thông báo đầu ra và số lượng cuộc gọi, do đó, các dự báo được xây dựng trên các giả định trò chuyện đơn giản sẽ nhanh chóng lỗi thời. Giám sát chi phí có thể sẽ trở thành một phần tiêu chuẩn của công cụ LLM. Các ước tính sẽ được sửa đổi liên tục từ mức sử dụng được ghi lại thay vì thực hiện một lần trước khi ra mắt.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Để ước tính chi phí API LLM, hãy nhân số mã thông báo mà mỗi yêu cầu gửi và nhận với giá mỗi mã thông báo của nhà cung cấp, sau đó chia tỷ lệ theo số lượng yêu cầu bạn mong đợi. Thực hiện việc này trước khi ra mắt sẽ giúp ngăn ngừa các hóa đơn bất ngờ và cho biết liệu một tính năng có thể được định giá có lãi hay không. Nó cũng cho thấy những lựa chọn thiết kế nào, chẳng hạn như lịch sử trò chuyện dài, sẽ thúc đẩy chi tiêu.
Nguyên tắc chung là khoảng bốn ký tự hoặc 0,75 từ cho mỗi mã thông báo tiếng Anh. Các ngôn ngữ và mã khác thường sử dụng nhiều mã thông báo hơn cho cùng một ý nghĩa.
Nhà cung cấp tính phí riêng cho đầu vào và đầu ra, token đầu ra thường có giá cao hơn vài lần so với token đầu vào.
2.000 / 1.000.000 × 3 USD = 0,006 USD. Chia số token cho một triệu trước khi nhân với giá là bước cốt lõi trong bất kỳ ước tính nào.
Hầu hết các ứng dụng trò chuyện đều gửi lại toàn bộ cuộc trò chuyện mỗi lượt, do đó, thông tin đầu vào sẽ tăng theo mỗi tin nhắn và tổng số thông tin đầu vào sẽ tăng gần bằng bình phương độ dài cuộc trò chuyện.
Mã thông báo lý do được mô hình tạo ra nên chúng được tính phí dưới dạng đầu ra mặc dù người dùng có thể không bao giờ nhìn thấy chúng. Việc loại bỏ chúng có thể đánh giá thấp chi phí.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Đếm mã thông báo và định giá API LLM
kỹ thuật