Istilah Glosarium AI

Apa itu Latensi?

Definisi

Waktu antara mengirim permintaan dan menerima keluaran model.

Jelajahi Glosarium AI selengkapnyaJelajahi semua panduan AI gratis

Istilah terkait

Mekanisme PerhatianKomponen model yang secara dinamis berfokus pada bagian masukan yang relevan saat menghasilkan keluaran.Sistem OtonomSebuah sistem yang dapat mengambil keputusan dan bertindak dengan kendali manusia secara langsung atau terbatas secara real time.KLIPArsitektur model multimodal yang mempelajari representasi bersama antara teks dan gambar.Penyimpangan DataPergeseran data masukan dunia nyata dari waktu ke waktu yang dapat menurunkan performa model.Perhitungan Waktu InferensiJumlah daya pemrosesan yang dikonsumsi saat menghasilkan setiap respons.Pemutusan PengetahuanTitik waktu terakhir yang tercermin dalam data pelatihan model.

Pelajari lebih lanjut di panduan gratis kami

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Lihat juga

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak