SeterusnyaPanduan seterusnya
Menganggarkan Kos API LLM dan Belanjawan Token
Teknikal
PANDUAN Teknikal
API LLM mengenakan caj bagi setiap token, sepotong teks yang kira-kira tiga perempat daripada perkataan Inggeris.
Dengar panduan iniAI-diceritakan · ~3 min
Token input yang anda hantar dan token keluaran yang model jana mempunyai kadar yang berasingan, dan output biasanya berharga beberapa kali lebih tinggi. Untuk menganggarkan kos, kira token dengan tokenizer penyedia atau pengiraan titik akhir dan darab setiap bahagian dengan kadar per jutanya. Sertakan token tersembunyi seperti gesaan sistem, sejarah perbualan dan alasan.
Model tidak membaca aksara atau perkataan secara langsung. Tokenizer membahagikan teks kepada token, yang merupakan jujukan aksara biasa yang dipelajari daripada data latihan. Peraturan biasa untuk bahasa Inggeris ialah kira-kira empat aksara, atau tiga perempat daripada perkataan, setiap token. Itu meletakkan 1,000 perkataan pada kira-kira 1,300 hingga 1,400 token. Kod, nombor, nama luar biasa dan banyak bahasa bukan bahasa Inggeris menggunakan lebih banyak token bagi setiap perkataan. Setiap keluarga model mempunyai tokenizer sendiri, jadi teks yang sama boleh menghasilkan kiraan yang berbeza dengan pembekal yang berbeza. Harga biasanya disebut bagi setiap juta token, dengan kadar input dan output yang berasingan. Token output lebih mahal kerana model menjananya satu demi satu, sementara ia boleh memproses token input secara selari. Output biasanya berharga pada beberapa kali kadar input, selalunya di antara empat dan lapan kali, walaupun nisbah berbeza mengikut model. Berikut ialah contoh yang berfungsi dengan harga yang dibuat: input pada $3 setiap juta token dan output pada $15 setiap juta. Tugasan menghantar 6,000 token input (gesaan sistem, arahan dan dokumen) dan mendapatkan kembali 800 token output. - Input: 6,000 x $3 / 1,000,000 = $0.018 - Output: 800 x $15 / 1,000,000 = $0.012 - Jumlah: $0.03 setiap tugasan Pada 10,000 tugasan sehari, iaitu kira-kira $300 sehari. Bil sebenar selalunya mengejutkan orang ramai, atas sebab yang boleh diramal: - Aplikasi sembang menghantar semula keseluruhan perbualan pada setiap masa, jadi input berkembang dengan setiap mesej. - Model penaakulan menjana token pemikiran dalaman yang dibilkan sebagai output, walaupun ia tidak ditunjukkan sepenuhnya. - Takrif alat, dokumen dan imej yang diambil semuanya dikira sebagai input. - Mencuba semula dan panggilan gagal juga memerlukan wang. Tiga salah tanggapan adalah perkara biasa: bahawa token perkataan yang sama, bahawa mengisi tetingkap konteks model adalah percuma dan bahawa model dengan harga per-token terendah sentiasa paling murah bagi setiap tugas. Model yang lebih kukuh yang selesai dalam percubaan yang lebih sedikit boleh menelan kos keseluruhan yang lebih rendah.
Pembangun menggunakan perpustakaan tiktoken sumber terbuka OpenAI untuk mengira artikel sokongan 3,000 perkataan sebelum menghantarnya. Ia datang kepada kira-kira 4,000 token, dan dia menetapkan amaran belanjawan untuk dipadankan.
Pasukan chatbot mendapati bahawa kebanyakan bilnya datang daripada menghantar semula gesaan sistem 2,000 token dan sejarah sembang penuh pada setiap masa. Ia mengurangkan kos dengan meringkaskan giliran lama dan menggunakan caching segera.
Sebuah syarikat memproses 50,000 perihalan produk semalaman mengalihkan tugas itu ke API kelompok penyedia. API batch mengecas lebih sedikit, dan sebagai balasannya, keputusan tiba dalam beberapa jam dan bukannya beberapa saat.
Pasukan yang menterjemah kandungan ke dalam belanjawan Hindi dan Jepun lebih banyak setiap halaman berbanding bahasa Inggeris. Dengan tokenizer biasa, makna yang sama sering mengambil lebih banyak token dalam bahasa tersebut.
Harga per-token untuk tahap keupayaan tertentu telah jatuh dengan ketara sejak beberapa tahun lalu. Jumlah perbelanjaan selalunya meningkat, kerana aplikasi menggunakan konteks yang lebih panjang, ejen membuat banyak panggilan dan model penaakulan menghasilkan lebih banyak output. Harga juga semakin pelbagai, dengan kadar yang berasingan untuk input cache, permintaan konteks panjang, kerja kelompok dan alasan. Ini menjadikannya lebih penting untuk mengukur penggunaan sebenar setiap tugas daripada membandingkan harga tajuk. Alat kos seperti belanjawan, penjejakan kos setiap ciri dan penghalaan model automatik berkemungkinan menjadi bahagian standard aplikasi LLM.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
API LLM mengenakan caj bagi setiap token, sepotong teks yang kira-kira tiga perempat daripada perkataan Inggeris. Token input yang anda hantar dan token keluaran yang model jana mempunyai kadar yang berasingan, dan output biasanya berharga beberapa kali lebih tinggi. Untuk menganggarkan kos, kira token dengan tokenizer penyedia atau pengiraan titik akhir dan darab setiap bahagian dengan kadar per jutanya. Sertakan token tersembunyi seperti gesaan sistem, sejarah perbualan dan alasan.
Bahasa Inggeris purata kira-kira empat aksara atau 0.75 perkataan setiap token, jadi 1,000 perkataan adalah kira-kira 1,300 hingga 1,400 token.
Menjana token satu demi satu mengambil lebih banyak masa pengiraan daripada memproses token input secara selari.
6,000 x 3 / 1,000,000 = $0.018 dan 800 x 15 / 1,000,000 = $0.012, yang menjumlahkan sehingga $0.03.
Setiap mesej baharu biasanya merangkumi semua giliran awal, jadi token input bertimbun melainkan sejarah dipangkas atau diringkaskan.
Token pemikiran dijana oleh model, jadi ia dibilkan sebagai output walaupun anda tidak melihat kesemuanya.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Menganggarkan Kos API LLM dan Belanjawan Token
Teknikal