Istilah Glosarium AI

Apa itu Perhitungan Waktu Inferensi?

Definisi

Jumlah daya pemrosesan yang dikonsumsi saat menghasilkan setiap respons.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Perhitungan Waktu TesPerhitungan inferensi tambahan yang digunakan selama pembuatan respons untuk meningkatkan kualitas atau penalaran.Penagihan Berbasis PenggunaanPenetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.Model SulingModel yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.HitungSumber daya pemrosesan yang diperlukan untuk melatih dan menjalankan model, sering kali diukur dalam jam FLOPS atau GPU.RAG (Generasi Augmented Pengambilan)Sebuah metode yang mengambil pengetahuan eksternal dan memasukkannya ke dalam generasi pada waktu inferensi.Pajak PenyelarasanBiaya tambahan dalam waktu, komputasi, atau kecepatan produk yang diperlukan untuk membuat sistem lebih aman dan terkendali.

Pelajari lebih lanjut di panduan gratis kami

AI InferenceComputer VisionSentiment AnalysisReal-Time Voice Agents

Lihat juga

InferenceInstruction TuningIn-Context LearningIntent ClassificationHyperparameterJailbreakHuman-in-the-LoopKnowledge Cutoff