Apakah Pengebilan Berdasarkan Penggunaan? Definisi | AI Understanding

Definisi

Penetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.

Istilah berkaitan

Pengiraan Masa Inferens

Jumlah kuasa pemprosesan yang digunakan semasa menghasilkan setiap tindak balas.

Pengiraan Masa Ujian

Pengiraan inferens tambahan yang digunakan semasa penjanaan tindak balas untuk meningkatkan kualiti atau penaakulan.

Penyahkodan Spekulatif

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Perhatian Tingkap Gelongsor

Corak perhatian di mana setiap token hadir hanya pada tetingkap saiz tetap token berdekatan untuk mengurangkan pengiraan.

Fasa masa jalan di mana model terlatih menjana ramalan atau output.

RAG (Retrieval-Augmented Generation)

Kaedah yang mendapatkan semula pengetahuan luaran dan menyalurkannya kepada generasi pada masa inferens.

Ketahui lebih lanjut dalam panduan percuma kami

Entropy-Based Sampling Energy-Based Models Score-Based Generative Models WaveGlow Flow-Based Vocoder

See also

Trust Calibration Zero Data Retention Structured Output KV Cache Shadow Deployment MCP (Model Context Protocol)Safety Case Agentic Loop

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma