What is Inference? Definition | AI Understanding

Definisi

Fasa masa jalan di mana model terlatih menjana ramalan atau output.

Istilah berkaitan

Titik Akhir Inferens

Antara muka API yang digunakan yang menerima permintaan model dan mengembalikan ramalan dalam pengeluaran.

Manusia-dalam-Gelung

Aliran kerja yang membolehkan manusia menyemak, membimbing atau mengatasi output AI.

AI berperlembagaan

Pendekatan latihan dan pembentukan tingkah laku di mana output model dipandu oleh set tetap prinsip bertulis.

Model yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.

Pengebilan Berdasarkan Penggunaan

Penetapan harga dengan skala kos dengan panggilan API, token, masa inferens atau pengiraan yang digunakan.

Penyahkodan Spekulatif

Kaedah pecutan inferens di mana model draf kecil mencadangkan token yang disahkan oleh model yang lebih besar secara selari.

Ketahui lebih lanjut dalam panduan percuma kami

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

See also

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma