PANDUAN Teknikal

Pengiraan Token dan Harga API LLM

API LLM mengenakan caj bagi setiap token, sepotong teks yang kira-kira tiga perempat daripada perkataan Inggeris.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Pengiraan Token dan Harga API LLM
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Token input yang anda hantar dan token keluaran yang model jana mempunyai kadar yang berasingan, dan output biasanya berharga beberapa kali lebih tinggi. Untuk menganggarkan kos, kira token dengan tokenizer penyedia atau pengiraan titik akhir dan darab setiap bahagian dengan kadar per jutanya. Sertakan token tersembunyi seperti gesaan sistem, sejarah perbualan dan alasan.

Menyelam dalam

Model tidak membaca aksara atau perkataan secara langsung. Tokenizer membahagikan teks kepada token, yang merupakan jujukan aksara biasa yang dipelajari daripada data latihan. Peraturan biasa untuk bahasa Inggeris ialah kira-kira empat aksara, atau tiga perempat daripada perkataan, setiap token. Itu meletakkan 1,000 perkataan pada kira-kira 1,300 hingga 1,400 token. Kod, nombor, nama luar biasa dan banyak bahasa bukan bahasa Inggeris menggunakan lebih banyak token bagi setiap perkataan. Setiap keluarga model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan kiraan yang berbeza dengan pembekal yang berbeza. Harga biasanya disebut bagi setiap juta token, dengan kadar input dan output yang berasingan. Token output lebih mahal kerana model menjananya satu demi satu, sementara ia boleh memproses token input secara selari. Output biasanya berharga pada beberapa kali kadar input, selalunya di antara empat dan lapan kali, walaupun nisbah berbeza mengikut model. Berikut ialah contoh yang berfungsi dengan harga yang dibuat: input pada $3 setiap juta token dan output pada $15 setiap juta. Tugasan menghantar 6,000 token input (gesaan sistem, arahan dan dokumen) dan mendapatkan kembali 800 token output. - Input: 6,000 x $3 / 1,000,000 = $0.018 - Output: 800 x $15 / 1,000,000 = $0.012 - Jumlah: $0.03 setiap tugasan Pada 10,000 tugasan sehari, iaitu kira-kira $300 sehari. Bil sebenar selalunya mengejutkan orang ramai, atas sebab yang boleh diramal: - Aplikasi sembang menghantar semula keseluruhan perbualan pada setiap masa, jadi input berkembang dengan setiap mesej. - Model penaakulan menjana token pemikiran dalaman yang dibilkan sebagai output, walaupun ia tidak ditunjukkan sepenuhnya. - Takrif alat, dokumen dan imej yang diambil semuanya dikira sebagai input. - Mencuba semula dan panggilan gagal juga memerlukan wang. Tiga salah tanggapan adalah perkara biasa: bahawa token perkataan yang sama, bahawa mengisi tetingkap konteks model adalah percuma dan bahawa model dengan harga per-token terendah sentiasa paling murah bagi setiap tugas. Model yang lebih kukuh yang selesai dalam percubaan yang lebih sedikit boleh menelan kos keseluruhan yang lebih rendah.

Pelaksanaan Dunia Sebenar

Pembangun menggunakan perpustakaan tiktoken sumber terbuka OpenAI untuk mengira artikel sokongan 3,000 perkataan sebelum menghantarnya. Ia datang kepada kira-kira 4,000 token, dan dia menetapkan amaran belanjawan untuk dipadankan.

Pasukan chatbot mendapati bahawa kebanyakan bilnya datang daripada menghantar semula gesaan sistem 2,000 token dan sejarah sembang penuh pada setiap masa. Ia mengurangkan kos dengan meringkaskan giliran lama dan menggunakan caching segera.

Sebuah syarikat memproses 50,000 perihalan produk semalaman mengalihkan tugas itu ke API kelompok penyedia. API batch mengecas lebih sedikit, dan sebagai balasannya, keputusan tiba dalam beberapa jam dan bukannya beberapa saat.

Pasukan yang menterjemah kandungan ke dalam belanjawan Hindi dan Jepun lebih banyak setiap halaman berbanding bahasa Inggeris. Dengan tokenizer biasa, makna yang sama sering mengambil lebih banyak token dalam bahasa tersebut.

Masa Depan Pengiraan Token dan Harga API LLM

Harga per-token untuk tahap keupayaan tertentu telah jatuh dengan ketara sejak beberapa tahun lalu. Jumlah perbelanjaan selalunya meningkat, kerana aplikasi menggunakan konteks yang lebih panjang, ejen membuat banyak panggilan dan model penaakulan menghasilkan lebih banyak output. Harga juga semakin pelbagai, dengan kadar yang berasingan untuk input cache, permintaan konteks panjang, kerja kelompok dan alasan. Ini menjadikannya lebih penting untuk mengukur penggunaan sebenar setiap tugas daripada membandingkan harga tajuk. Alat kos seperti belanjawan, penjejakan kos setiap ciri dan penghalaan model automatik berkemungkinan menjadi bahagian standard aplikasi LLM.

Mempraktikkannya

Mengapa ia penting

  • Kos dan bajet. Keputusan seni bina memacu prestasi dan kos operasi selama bertahun-tahun.
  • Keputusan yang lebih jelas. Pendidikan teknikal membantu pasukan memilih timbunan yang betul, bukan hanya yang terbaharu.
  • Kawalan kualiti. Pilihan kejuruteraan yang lebih baik mengurangkan insiden kebolehpercayaan dalam pengeluaran.

Berhati-hati untuk

  • Mengoptimumkan satu penanda aras boleh menyembunyikan kelemahan sistem yang lebih luas.
  • Kos infrastruktur dan penyelenggaraan sering dipandang remeh.
  • Jurang keselamatan dan pemerhatian boleh berkembang apabila sistem menjadi lebih kompleks.

Langkah seterusnya

  1. Tentukan sasaran kependaman, kualiti dan kos sebelum pelaksanaan.
  2. Penanda aras di bawah beban realistik dan keadaan data.
  3. Pemantauan instrumen untuk ralat, drift dan kesan pengguna.
  4. Sediakan laluan balik dan tindak balas insiden sebelum penskalaan.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Take the Token Counting and LLM API Pricing quiz

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Pengiraan Token dan Harga API LLM?

API LLM mengenakan caj bagi setiap token, sepotong teks yang kira-kira tiga perempat daripada perkataan Inggeris. Token input yang anda hantar dan token keluaran yang model jana mempunyai kadar yang berasingan, dan output biasanya berharga beberapa kali lebih tinggi. Untuk menganggarkan kos, kira token dengan tokenizer penyedia atau pengiraan titik akhir dan darab setiap bahagian dengan kadar per jutanya. Sertakan token tersembunyi seperti gesaan sistem, sejarah perbualan dan alasan.

Apakah peraturan umum untuk teks dan token bahasa Inggeris?

Bahasa Inggeris purata kira-kira empat aksara atau 0.75 perkataan setiap token, jadi 1,000 perkataan adalah kira-kira 1,300 hingga 1,400 token.

Mengapakah token output biasanya berharga lebih tinggi daripada token input?

Menjana token satu demi satu mengambil lebih banyak masa pengiraan daripada memproses token input secara selari.

Dengan harga yang dibuat sebanyak $3 setiap juta token input dan $15 setiap juta token output, apakah kos panggilan dengan 6,000 input dan 800 token output?

6,000 x 3 / 1,000,000 = $0.018 dan 800 x 15 / 1,000,000 = $0.012, yang menjumlahkan sehingga $0.03.

Mengapakah kos chatbot sering meningkat apabila perbualan berlangsung?

Setiap mesej baharu biasanya merangkumi semua giliran awal, jadi token input bertimbun melainkan sejarah dipangkas atau diringkaskan.

Bagaimanakah token pemikiran dalaman model penaakulan biasanya dibilkan?

Token pemikiran dijana oleh model, jadi ia dibilkan sebagai output walaupun anda tidak melihat kesemuanya.