Istilah Glosari AI

Apakah Titik Akhir Inferens?

Definisi

Antara muka API yang digunakan yang menerima permintaan model dan mengembalikan ramalan dalam pengeluaran.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

API (Antara Muka Pengaturcaraan Aplikasi)Cara berstruktur untuk satu sistem perisian menghantar permintaan dan menerima respons daripada sistem lain.InferensFasa masa jalan di mana model terlatih menjana ramalan atau output.Pengebilan Berdasarkan PenggunaanPenetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.Pengiraan Masa InferensJumlah kuasa pemprosesan yang digunakan semasa menghasilkan setiap tindak balas.Pokok KeputusanModel yang membuat ramalan melalui urutan pemisahan ciri jika-maka.AnsambelMenggabungkan ramalan daripada berbilang model untuk meningkatkan keteguhan atau ketepatan.

Ketahui lebih lanjut dalam panduan percuma kami

AI InferenceAI Inference OptimizationLLM Inference Routing and Load BalancingSeldon Core and Inference Graphs

Lihat juga

Human Preference ModelKnowledge BaseGuarded DecodingLatent SpaceGroundednessModel RegistryFeature StoreOn-Device AI