Belajar Berita Alat Lowongan Misi

Istilah Glosarium AI

Apa itu Kesimpulan?

Definisi

Fase runtime saat model terlatih menghasilkan prediksi atau keluaran.

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis

Titik Akhir InferensiAntarmuka API yang diterapkan yang menerima permintaan model dan mengembalikan prediksi dalam produksi.Manusia dalam LingkaranAlur kerja tempat manusia meninjau, memandu, atau mengesampingkan keluaran AI.AI konstitusionalPendekatan pelatihan dan pembentukan perilaku di mana keluaran model dipandu oleh serangkaian prinsip tertulis yang tetap.Model SulingModel yang lebih kecil dilatih untuk meniru perilaku model yang lebih besar sambil menggunakan lebih sedikit komputasi pada inferensi.Penagihan Berbasis PenggunaanPenetapan harga yang skala biayanya disesuaikan dengan panggilan API, token, waktu inferensi, atau komputasi yang digunakan.Penguraian Kode SpekulatifMetode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Pelajari lebih lanjut di panduan gratis kami

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

Lihat juga

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails