SeterusnyaPanduan seterusnya
Pengiraan Token dan Harga API LLM
Teknikal
PANDUAN Teknikal
Untuk menganggarkan kos API LLM, darabkan token yang dihantar dan diterima oleh setiap permintaan mengikut harga setiap token pembekal, kemudian skala mengikut bilangan permintaan yang anda jangkakan.
Dengar panduan iniAI-diceritakan · ~3 min
Melakukan perkara ini sebelum pelancaran menghalang bil mengejut dan menunjukkan sama ada ciri boleh dinilai dengan menguntungkan. Ia juga menunjukkan pilihan reka bentuk yang mana, seperti sejarah perbualan yang panjang, mendorong perbelanjaan.
Bil API LLM mengikut token. Token ialah sebahagian daripada teks yang mempunyai purata kira-kira empat aksara, atau kira-kira tiga perempat daripada perkataan, dalam bahasa Inggeris. Bahasa dan kod lain selalunya memerlukan lebih banyak token untuk maksud yang sama, dan setiap tokenizer penyedia mengira sedikit berbeza. Harga disebut bagi setiap juta token, dengan kadar berasingan untuk input (semua yang anda hantar) dan output (semua yang dihasilkan oleh model). Output biasanya berharga beberapa kali lebih tinggi daripada input. Anggaran yang boleh dipercayai mengikut lima langkah: 1. Tentukan setiap tugas yang dilakukan oleh ciri tersebut. 2. Ukur token setiap permintaan menggunakan gesaan sampel sebenar dan tokenizer atau titik akhir pengiraan token pembekal. Kira gesaan sistem, dokumen yang diambil, sejarah perbualan, input pengguna dan output yang dijangkakan. 3. Anggarkan volum: pengguna aktif mengkali permintaan setiap pengguna setiap hari. 4. Darabkan token mengikut harga dan mengikut volum. 5. Tambah overhed untuk percubaan semula, panggilan gagal, penilaian berjalan dan pertumbuhan. Berikut ialah contoh yang digunakan menggunakan harga hipotesis $3 setiap juta token input dan $15 setiap juta token output. Permintaan dengan 2,000 token input berharga $0.006 untuk input. 400 token keluarannya berharga $0.006 lagi, jadi permintaan itu berharga $0.012. Pada 10,000 permintaan sehari, iaitu $120 sehari, atau kira-kira $3,600 dalam sebulan 30 hari, sebelum overhed. Ralat anggaran terbesar datang daripada apa yang orang lupa: - Kebanyakan aplikasi sembang menghantar semula perbualan pada setiap masa. Input berkembang dengan setiap mesej, jadi satu perbualan panjang berharga jauh lebih tinggi daripada beberapa perbualan pendek. - Ciri tambahan perolehan boleh menambah beribu-ribu token konteks pada setiap panggilan. - Model penaakulan menjana token pemikiran dalaman yang dibilkan sebagai output walaupun ia tidak ditunjukkan. - Ejen membuat banyak panggilan untuk setiap tindakan pengguna. Diskaun mengubah matematik. Caching segera merendahkan harga awalan berulang dan kerja diskaun API kelompok yang boleh menunggu. Sentiasa semak halaman harga semasa pembekal, kerana kadar sering berubah.
A team building an email-drafting feature runs a batch of real test prompts through the tokenizer. It finds the system prompt makes up more than half of all input tokens, so it shortens the prompt before launch.
A chatbot forecast assumed one short prompt per turn and falls apart once the team notices that every turn resends the full conversation. The revised forecast caps history and summarizes older turns.
A nightly job that classifies tens of thousands of support tickets moves to a provider's discounted batch API. None of the results are needed immediately, so the delay costs nothing.
A startup budgeting for a reasoning model learns that hidden reasoning tokens are billed as output. Its estimate had counted only the visible answer, so it has to raise the per-request cost several times over.
Per-token prices have generally fallen for a given level of capability. Providers keep adding pricing options such as caching discounts, batch rates and tiered service levels. That makes LLM use cheaper but estimation more complicated, since the cheapest setup depends on latency needs and prompt structure. Reasoning and agent workloads are shifting the main cost from input length to output tokens and number of calls, so forecasts built on simple chat assumptions will go out of date quickly. Cost monitoring is likely to become a standard part of LLM tooling. Estimates will be revised continuously from logged usage rather than made once before launch.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Untuk menganggarkan kos API LLM, darabkan token yang dihantar dan diterima oleh setiap permintaan mengikut harga setiap token pembekal, kemudian skala mengikut bilangan permintaan yang anda jangkakan. Melakukan perkara ini sebelum pelancaran menghalang bil mengejut dan menunjukkan sama ada ciri boleh dinilai dengan menguntungkan. Ia juga menunjukkan pilihan reka bentuk yang mana, seperti sejarah perbualan yang panjang, mendorong perbelanjaan.
Peraturan biasa ialah kira-kira empat aksara atau 0.75 perkataan bagi setiap token bahasa Inggeris. Bahasa dan kod lain sering menggunakan lebih banyak token untuk maksud yang sama.
Pembekal mengenakan bayaran secara berasingan untuk input dan output, dan token output biasanya berharga beberapa kali lebih tinggi daripada token input.
2,000 / 1,000,000 × $3 = $0.006. Membahagikan token dengan satu juta sebelum didarab dengan harga ialah langkah teras dalam sebarang anggaran.
Kebanyakan aplikasi sembang menghantar semula keseluruhan perbualan setiap giliran, jadi input berkembang dengan setiap mesej dan jumlah input berkembang kira-kira dengan kuasa dua panjang perbualan.
Token penaakulan dijana oleh model, jadi ia dibilkan sebagai output walaupun pengguna mungkin tidak pernah melihatnya. Membiarkannya boleh meremehkan kos dengan teruk.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengiraan Token dan Harga API LLM
Teknikal