HƯỚNG DẪN KỸ THUẬT

Đếm mã thông báo và định giá API LLM

API LLM tính phí theo mã thông báo, một đoạn văn bản gần bằng 3/4 từ tiếng Anh.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc đếm mã thông báo và định giá API LLM
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Mã thông báo đầu vào bạn gửi và mã thông báo đầu ra mà mô hình tạo ra có mức giá riêng biệt và đầu ra thường có giá cao hơn nhiều lần. Để ước tính chi phí, hãy đếm mã thông báo bằng mã thông báo của nhà cung cấp hoặc điểm cuối đếm và nhân mỗi bên với tỷ lệ trên một triệu của nó. Bao gồm các mã thông báo ẩn như lời nhắc hệ thống, lịch sử hội thoại và lý luận.

Lặn sâu

Mô hình không đọc ký tự hoặc từ một cách trực tiếp. Trình mã hóa sẽ chia văn bản thành các mã thông báo, là các chuỗi ký tự phổ biến được học từ dữ liệu huấn luyện. Nguyên tắc chung cho tiếng Anh là khoảng bốn ký tự hoặc ba phần tư từ cho mỗi mã thông báo. Điều đó đặt ra 1.000 từ tương ứng với khoảng 1.300 đến 1.400 mã thông báo. Mã, số, tên bất thường và nhiều ngôn ngữ không phải tiếng Anh sử dụng nhiều mã thông báo hơn cho mỗi từ. Mỗi dòng mô hình có mã thông báo riêng, do đó, cùng một văn bản có thể tạo ra số lượng khác nhau với các nhà cung cấp khác nhau. Giá thường được tính trên một triệu token, với tỷ lệ đầu vào và đầu ra riêng biệt. Mã thông báo đầu ra có giá cao hơn vì mô hình tạo ra chúng cùng một lúc, trong khi nó có thể xử lý song song các mã thông báo đầu vào. Đầu ra thường được định giá gấp nhiều lần giá đầu vào, thường ở khoảng từ bốn đến tám lần, mặc dù tỷ lệ này khác nhau tùy theo mẫu. Dưới đây là một ví dụ hoạt động với giá cố định: đầu vào ở mức 3 USD trên một triệu token và đầu ra ở mức 15 USD trên một triệu token. Một tác vụ gửi 6.000 mã thông báo đầu vào (lời nhắc hệ thống, hướng dẫn và tài liệu) và nhận lại 800 mã thông báo đầu ra. - Đầu vào: 6.000 x 3 USD / 1.000.000 = 0,018 USD - Đầu ra: 800 x 15 USD / 1.000.000 = 0,012 USD - Tổng cộng: 0,03 USD mỗi nhiệm vụ Với 10.000 nhiệm vụ mỗi ngày, tổng số tiền đó là khoảng 300 USD một ngày. Hóa đơn thật thường khiến mọi người ngạc nhiên, vì những lý do có thể đoán trước được: - Ứng dụng trò chuyện gửi lại toàn bộ cuộc trò chuyện ở mỗi lượt, do đó đầu vào sẽ tăng lên theo từng tin nhắn. - Các mô hình suy luận tạo ra các mã thông báo tư duy nội bộ được tính là đầu ra, ngay cả khi chúng không được hiển thị đầy đủ. - Định nghĩa công cụ, tài liệu được truy xuất và hình ảnh đều được tính là đầu vào. - Thử lại và gọi không thành công cũng tốn tiền. Ba quan niệm sai lầm phổ biến: rằng các mã thông báo bằng các từ bằng nhau, việc lấp đầy cửa sổ ngữ cảnh của mô hình là miễn phí và mô hình có giá mỗi mã thông báo thấp nhất luôn rẻ nhất cho mỗi tác vụ. Một mô hình mạnh mẽ hơn và hoàn thành với ít lần thử hơn có thể có chi phí tổng thể thấp hơn.

Triển khai trong thế giới thực

Một nhà phát triển sử dụng thư viện tiktoken mã nguồn mở của OpenAI để đếm bài viết hỗ trợ dài 3.000 từ trước khi gửi đi. Nó có khoảng 4.000 token và cô ấy đặt cảnh báo ngân sách phù hợp.

Một nhóm chatbot nhận thấy rằng phần lớn hóa đơn của họ đến từ việc gửi lại lời nhắc hệ thống trị giá 2.000 mã thông báo và toàn bộ lịch sử trò chuyện mỗi lượt. Nó cắt giảm chi phí bằng cách tóm tắt các lượt cũ hơn và sử dụng bộ nhớ đệm nhanh chóng.

Một công ty xử lý 50.000 mô tả sản phẩm chỉ trong một đêm sẽ chuyển công việc sang API hàng loạt của nhà cung cấp. API hàng loạt tính phí ít hơn và đổi lại kết quả sẽ đến trong vòng vài giờ thay vì vài giây.

Một nhóm dịch nội dung sang tiếng Hindi và tiếng Nhật có ngân sách trên mỗi trang nhiều hơn so với tiếng Anh. Với các mã thông báo phổ biến, ý nghĩa tương tự thường cần nhiều mã thông báo hơn trong các ngôn ngữ đó.

Tương lai của việc đếm mã thông báo và định giá API LLM

Giá mỗi mã thông báo cho một mức khả năng nhất định đã giảm đáng kể trong vài năm qua. Dù sao thì tổng chi tiêu cũng thường tăng vì các ứng dụng sử dụng ngữ cảnh dài hơn, các tác nhân thực hiện nhiều lệnh gọi và các mô hình lý luận tạo ra nhiều đầu ra hơn. Giá cả cũng ngày càng đa dạng hơn, với các mức giá riêng biệt cho đầu vào được lưu trong bộ nhớ đệm, yêu cầu ngữ cảnh dài, tác vụ hàng loạt và lý luận. Điều đó khiến việc đo lường mức sử dụng thực tế trên mỗi tác vụ trở nên quan trọng hơn là so sánh giá tiêu đề. Các công cụ chi phí như ngân sách, theo dõi chi phí theo tính năng và định tuyến mô hình tự động có thể sẽ trở thành một phần tiêu chuẩn của ứng dụng LLM.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Token Counting and LLM API Pricing quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Đếm mã thông báo và định giá API LLM là gì?

API LLM tính phí theo mã thông báo, một đoạn văn bản gần bằng 3/4 từ tiếng Anh. Mã thông báo đầu vào bạn gửi và mã thông báo đầu ra mà mô hình tạo ra có mức giá riêng biệt và đầu ra thường có giá cao hơn nhiều lần. Để ước tính chi phí, hãy đếm mã thông báo bằng mã thông báo của nhà cung cấp hoặc điểm cuối đếm và nhân mỗi bên với tỷ lệ trên một triệu của nó. Bao gồm các mã thông báo ẩn như lời nhắc hệ thống, lịch sử hội thoại và lý luận.

Quy tắc chung cho văn bản và mã thông báo tiếng Anh là gì?

Tiếng Anh trung bình có khoảng bốn ký tự hoặc 0,75 từ trên mỗi mã thông báo, vì vậy 1.000 từ là khoảng 1.300 đến 1.400 mã thông báo.

Tại sao token đầu ra thường có giá cao hơn token đầu vào?

Việc tạo từng mã thông báo mất nhiều thời gian tính toán hơn so với việc xử lý song song các mã thông báo đầu vào.

Với mức giá cố định là 3 USD trên một triệu mã thông báo đầu vào và 15 USD trên một triệu mã thông báo đầu ra, cuộc gọi với 6.000 mã thông báo đầu vào và 800 mã thông báo đầu ra sẽ có giá bao nhiêu?

6.000 x 3 / 1.000.000 = 0,018 USD và 800 x 15 / 1.000.000 = 0,012 USD, cộng lại thành 0,03 USD.

Tại sao chi phí chatbot thường tăng lên khi cuộc trò chuyện diễn ra?

Mỗi tin nhắn mới thường bao gồm tất cả các lượt trước đó, do đó, các mã thông báo đầu vào sẽ chồng chất lên nhau trừ khi lịch sử bị cắt bớt hoặc tóm tắt.

Mã thông báo tư duy nội bộ của mô hình lý luận thường được tính phí như thế nào?

Mã thông báo tư duy được tạo ra bởi mô hình nên chúng được tính phí dưới dạng đầu ra ngay cả khi bạn không nhìn thấy tất cả chúng.