Belajar Berita Alat Pekerjaan Misi

Istilah Glosari AI

Apakah Pengiraan Masa Inferens?

Definisi

Jumlah kuasa pemprosesan yang digunakan semasa menghasilkan setiap tindak balas.

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma

Pengiraan Masa UjianPengiraan inferens tambahan yang digunakan semasa penjanaan tindak balas untuk meningkatkan kualiti atau penaakulan.Pengebilan Berdasarkan PenggunaanPenetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.Model SulingModel yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.KiraSumber pemprosesan yang diperlukan untuk melatih dan menjalankan model, selalunya diukur dalam jam FLOPS atau GPU.RAG (Penjanaan Terimbuh-Dapatkan)Kaedah yang mendapatkan semula pengetahuan luaran dan menyalurkannya kepada generasi pada masa inferens.Cukai PenjajaranKos tambahan dalam masa, pengiraan atau halaju produk yang diperlukan untuk menjadikan sistem lebih selamat dan lebih terkawal.

Ketahui lebih lanjut dalam panduan percuma kami

AI Inference Computer Vision Sentiment Analysis Real-Time Voice Agents

Lihat juga

Inference Instruction Tuning In-Context Learning Intent Classification Hyperparameter Jailbreak Human-in-the-Loop Knowledge Cutoff