Istilah Glosarium AI

Apa itu Titik Akhir Inferensi?

Definisi

Antarmuka API yang diterapkan yang menerima permintaan model dan mengembalikan prediksi dalam produksi.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

API (Antarmuka Pemrograman Aplikasi)Cara terstruktur bagi satu sistem perangkat lunak untuk mengirim permintaan dan menerima tanggapan dari sistem lain.KesimpulanFase runtime saat model terlatih menghasilkan prediksi atau keluaran.Penagihan Berbasis PenggunaanPenetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.Perhitungan Waktu InferensiJumlah daya pemrosesan yang dikonsumsi saat menghasilkan setiap respons.Pohon KeputusanModel yang membuat prediksi melalui rangkaian pemisahan fitur jika-maka.ansambelMenggabungkan prediksi dari beberapa model untuk meningkatkan ketahanan atau akurasi.

Pelajari lebih lanjut di panduan gratis kami

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Lihat juga

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI