What is Inference Endpoint? Definition | AI Understanding

Definisi

Antara muka API yang digunakan yang menerima permintaan model dan mengembalikan ramalan dalam pengeluaran.

Istilah berkaitan

API (Antara Muka Pengaturcaraan Aplikasi)

Cara berstruktur untuk satu sistem perisian menghantar permintaan dan menerima respons daripada sistem lain.

Fasa masa jalan di mana model terlatih menjana ramalan atau output.

Pengebilan Berdasarkan Penggunaan

Penetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.

Pengiraan Masa Inferens

Jumlah kuasa pemprosesan yang digunakan semasa menghasilkan setiap tindak balas.

Pokok Keputusan

Model yang membuat ramalan melalui urutan pemisahan ciri jika-maka.

Menggabungkan ramalan daripada berbilang model untuk meningkatkan keteguhan atau ketepatan.

Ketahui lebih lanjut dalam panduan percuma kami

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

See also

Human Preference Model Knowledge Base Guarded Decoding Latent Space Groundedness Model Registry Feature Store On-Device AI

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma