Tiếp theoHướng dẫn tiếp theo
Ước tính chi phí API LLM và ngân sách mã thông báo
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
API LLM tính phí theo mã thông báo, một đoạn văn bản gần bằng 3/4 từ tiếng Anh.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Mã thông báo đầu vào bạn gửi và mã thông báo đầu ra mà mô hình tạo ra có mức giá riêng biệt và đầu ra thường có giá cao hơn nhiều lần. Để ước tính chi phí, hãy đếm mã thông báo bằng mã thông báo của nhà cung cấp hoặc điểm cuối đếm và nhân mỗi bên với tỷ lệ trên một triệu của nó. Bao gồm các mã thông báo ẩn như lời nhắc hệ thống, lịch sử hội thoại và lý luận.
Mô hình không đọc ký tự hoặc từ một cách trực tiếp. Trình mã hóa sẽ chia văn bản thành các mã thông báo, là các chuỗi ký tự phổ biến được học từ dữ liệu huấn luyện. Nguyên tắc chung cho tiếng Anh là khoảng bốn ký tự hoặc ba phần tư từ cho mỗi mã thông báo. Điều đó đặt ra 1.000 từ tương ứng với khoảng 1.300 đến 1.400 mã thông báo. Mã, số, tên bất thường và nhiều ngôn ngữ không phải tiếng Anh sử dụng nhiều mã thông báo hơn cho mỗi từ. Mỗi dòng mô hình có mã thông báo riêng, do đó, cùng một văn bản có thể tạo ra số lượng khác nhau với các nhà cung cấp khác nhau. Giá thường được tính trên một triệu token, với tỷ lệ đầu vào và đầu ra riêng biệt. Mã thông báo đầu ra có giá cao hơn vì mô hình tạo ra chúng cùng một lúc, trong khi nó có thể xử lý song song các mã thông báo đầu vào. Đầu ra thường được định giá gấp nhiều lần giá đầu vào, thường ở khoảng từ bốn đến tám lần, mặc dù tỷ lệ này khác nhau tùy theo mẫu. Dưới đây là một ví dụ hoạt động với giá cố định: đầu vào ở mức 3 USD trên một triệu token và đầu ra ở mức 15 USD trên một triệu token. Một tác vụ gửi 6.000 mã thông báo đầu vào (lời nhắc hệ thống, hướng dẫn và tài liệu) và nhận lại 800 mã thông báo đầu ra. - Đầu vào: 6.000 x 3 USD / 1.000.000 = 0,018 USD - Đầu ra: 800 x 15 USD / 1.000.000 = 0,012 USD - Tổng cộng: 0,03 USD mỗi nhiệm vụ Với 10.000 nhiệm vụ mỗi ngày, tổng số tiền đó là khoảng 300 USD một ngày. Hóa đơn thật thường khiến mọi người ngạc nhiên, vì những lý do có thể đoán trước được: - Ứng dụng trò chuyện gửi lại toàn bộ cuộc trò chuyện ở mỗi lượt, do đó đầu vào sẽ tăng lên theo từng tin nhắn. - Các mô hình suy luận tạo ra các mã thông báo tư duy nội bộ được tính là đầu ra, ngay cả khi chúng không được hiển thị đầy đủ. - Định nghĩa công cụ, tài liệu được truy xuất và hình ảnh đều được tính là đầu vào. - Thử lại và gọi không thành công cũng tốn tiền. Ba quan niệm sai lầm phổ biến: rằng các mã thông báo bằng các từ bằng nhau, việc lấp đầy cửa sổ ngữ cảnh của mô hình là miễn phí và mô hình có giá mỗi mã thông báo thấp nhất luôn rẻ nhất cho mỗi tác vụ. Một mô hình mạnh mẽ hơn và hoàn thành với ít lần thử hơn có thể có chi phí tổng thể thấp hơn.
Một nhà phát triển sử dụng thư viện tiktoken mã nguồn mở của OpenAI để đếm bài viết hỗ trợ dài 3.000 từ trước khi gửi đi. Nó có khoảng 4.000 token và cô ấy đặt cảnh báo ngân sách phù hợp.
Một nhóm chatbot nhận thấy rằng phần lớn hóa đơn của họ đến từ việc gửi lại lời nhắc hệ thống trị giá 2.000 mã thông báo và toàn bộ lịch sử trò chuyện mỗi lượt. Nó cắt giảm chi phí bằng cách tóm tắt các lượt cũ hơn và sử dụng bộ nhớ đệm nhanh chóng.
Một công ty xử lý 50.000 mô tả sản phẩm chỉ trong một đêm sẽ chuyển công việc sang API hàng loạt của nhà cung cấp. API hàng loạt tính phí ít hơn và đổi lại kết quả sẽ đến trong vòng vài giờ thay vì vài giây.
Một nhóm dịch nội dung sang tiếng Hindi và tiếng Nhật có ngân sách trên mỗi trang nhiều hơn so với tiếng Anh. Với các mã thông báo phổ biến, ý nghĩa tương tự thường cần nhiều mã thông báo hơn trong các ngôn ngữ đó.
Giá mỗi mã thông báo cho một mức khả năng nhất định đã giảm đáng kể trong vài năm qua. Dù sao thì tổng chi tiêu cũng thường tăng vì các ứng dụng sử dụng ngữ cảnh dài hơn, các tác nhân thực hiện nhiều lệnh gọi và các mô hình lý luận tạo ra nhiều đầu ra hơn. Giá cả cũng ngày càng đa dạng hơn, với các mức giá riêng biệt cho đầu vào được lưu trong bộ nhớ đệm, yêu cầu ngữ cảnh dài, tác vụ hàng loạt và lý luận. Điều đó khiến việc đo lường mức sử dụng thực tế trên mỗi tác vụ trở nên quan trọng hơn là so sánh giá tiêu đề. Các công cụ chi phí như ngân sách, theo dõi chi phí theo tính năng và định tuyến mô hình tự động có thể sẽ trở thành một phần tiêu chuẩn của ứng dụng LLM.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
API LLM tính phí theo mã thông báo, một đoạn văn bản gần bằng 3/4 từ tiếng Anh. Mã thông báo đầu vào bạn gửi và mã thông báo đầu ra mà mô hình tạo ra có mức giá riêng biệt và đầu ra thường có giá cao hơn nhiều lần. Để ước tính chi phí, hãy đếm mã thông báo bằng mã thông báo của nhà cung cấp hoặc điểm cuối đếm và nhân mỗi bên với tỷ lệ trên một triệu của nó. Bao gồm các mã thông báo ẩn như lời nhắc hệ thống, lịch sử hội thoại và lý luận.
Tiếng Anh trung bình có khoảng bốn ký tự hoặc 0,75 từ trên mỗi mã thông báo, vì vậy 1.000 từ là khoảng 1.300 đến 1.400 mã thông báo.
Việc tạo từng mã thông báo mất nhiều thời gian tính toán hơn so với việc xử lý song song các mã thông báo đầu vào.
6.000 x 3 / 1.000.000 = 0,018 USD và 800 x 15 / 1.000.000 = 0,012 USD, cộng lại thành 0,03 USD.
Mỗi tin nhắn mới thường bao gồm tất cả các lượt trước đó, do đó, các mã thông báo đầu vào sẽ chồng chất lên nhau trừ khi lịch sử bị cắt bớt hoặc tóm tắt.
Mã thông báo tư duy được tạo ra bởi mô hình nên chúng được tính phí dưới dạng đầu ra ngay cả khi bạn không nhìn thấy tất cả chúng.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Ước tính chi phí API LLM và ngân sách mã thông báo
kỹ thuật