Istilah Glosari AI

Apakah Latensi?

Definisi

Masa antara menghantar permintaan dan menerima output model.

Semak imbas Glosari AI penuhTerokai semua panduan AI percuma

Istilah berkaitan

Mekanisme PerhatianKomponen model yang memfokus secara dinamik pada bahagian input yang berkaitan apabila menghasilkan output.Sistem AutonomiSistem yang boleh membuat keputusan dan bertindak dengan kawalan manusia yang terhad atau tiada langsung dalam masa nyata.KLIPSeni bina model multimodal yang mempelajari perwakilan yang dikongsi antara teks dan imej.Hanyutan DataPeralihan dalam data input dunia sebenar dari semasa ke semasa yang boleh merendahkan prestasi model.Pengiraan Masa InferensJumlah kuasa pemprosesan yang digunakan semasa menghasilkan setiap tindak balas.Potongan PengetahuanTitik masa terkini ditunjukkan dalam data latihan model.

Ketahui lebih lanjut dalam panduan percuma kami

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Lihat juga

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak