SeterusnyaPanduan seterusnya
Pengiraan Token dan Harga API LLM
Teknikal
PANDUAN Teknikal
Masa ke token pertama (TTFT) mengukur kelewatan sehingga token pertama dihasilkan, manakala latensi antara token (ITL) mengukur jurang antara token yang dihasilkan dan throughput mengukur volume output sepanjang masa.
Dengar panduan iniAI-diceritakan · ~3 min
Peratusan ekor seperti p95 dan p99 menunjukkan tingkah laku permintaan perlahan, tetapi definisi metrik dan sasaran pengalaman pengguna bergantung pada timbunan perkhidmatan dan beban kerja.
A streamed language-model response has several timing components. Time to first token (TTFT) measures how long a request waits before the first output token arrives. Inter-token latency (ITL), sometimes reported as time per output token, describes the gaps during generation. End-to-end latency includes the full request through the final output; throughput describes how many requests or tokens a system handles over time. These metrics help distinguish different problems. Long TTFT can reflect queueing, network delay, long prompts, or prompt processing. High ITL can reflect decode speed, model size, or contention. Aggregate throughput may rise under batching even while an individual request waits longer. A fast average can hide slow tail requests, so teams often inspect p50, p95, and p99 along with error rates and token counts. Definitions need care. Some tools report time-per-output-token (TPOT), computed from end-to-end latency and TTFT; others report token intervals directly. The vLLM benchmark documentation defines its metrics and advises users to evaluate in serving conditions. Compare measurements only when workload, streaming mode, prompt lengths, output lengths, concurrency, hardware, and network conditions are comparable. No one metric establishes that a product feels fast. A typing assistant may need low first-token delay; a long research report may tolerate slower initial output if its final answer is good. Set user-centered service objectives, sample real requests, and monitor distributions over time rather than optimizing one average in isolation.
Satu pasukan menjejak TTFT p95 untuk melihat sama ada antaramuka sembang mula memberi respons dengan cepat di bawah beban puncak.
Seorang jurutera membandingkan ITL merentasi konfigurasi model menggunakan panjang prompt dan output yang serupa.
Sebuah perkhidmatan melaporkan token agregat per saat secara berasingan daripada masa respons setiap pengguna.
Satu penanda aras merekodkan kelewatan p99 dan kegagalan permintaan dan bukannya melaporkan hanya purata.
Menjaga tumpukan perkhidmatan boleh menyediakan penjejakan yang lebih kaya yang memisahkan antrian, praisi, penyahkodan, dan kelewatan rangkaian. Telemetri yang lebih baik dapat membantu pasukan mencapai sasaran interaksi yang berbeza tanpa melebih-lebihkan setiap beban kerja. Perbandingan hanya akan bermakna apabila beban kerja dan definisi metrik didedahkan. Dasbor masa depan harus menghubungkan kelewatan ekor kepada tugas pengguna dan hasil kualiti, serta menunjukkan ketidakpastian dan kadar kegagalan bersama kelajuan. Format penanda aras bersama mungkin meningkatkan kebolehulangan di antara penyedia, sementara pemantauan pengguna sebenar akan tetap penting semasa puncak trafik dan pelancaran penempatan.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Masa ke token pertama (TTFT) mengukur kelewatan sehingga token pertama dihasilkan, manakala kelewatan antara token (ITL) mengukur jurang antara token yang dihasilkan dan ukuran throughput mengukur volume output sepanjang masa. Peratusan ekor seperti p95 dan p99 menunjukkan tingkah laku permintaan perlahan, tetapi definisi metrik dan sasaran pengalaman pengguna bergantung pada tumpukan perkhidmatan dan beban kerja.
Satu perkhidmatan boleh meningkatkan jumlah token per saat sementara permintaan individu menunggu lebih lama.
Metrik ekor menerangkan bahagian kelewatan tinggi dalam taburan permintaan.
Ciri-ciri beban kerja mempengaruhi prestasi perkhidmatan yang diukur.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Pengiraan Token dan Harga API LLM
Teknikal