Învață Știri Unelte Joburi Misiune

Termen de glosar AI

Ce este Latența?

Definiție

Timpul dintre trimiterea unei cereri și primirea rezultatului modelului.

Răsfoiți întregul glosar AI Explorați toate ghidurile AI gratuite

Mecanismul de atențieO componentă de model care se concentrează dinamic asupra părților relevante ale unei intrări atunci când produce o ieșire.Sistem autonomUn sistem care poate lua decizii și acționa cu control uman limitat sau fără control uman direct în timp real.CLIPO arhitectură model multimodală care învață reprezentări partajate între text și imagini.Deriva datelorO schimbare a datelor de intrare din lumea reală în timp, care poate degrada performanța modelului.Calcularea timpului de inferențăCantitatea de putere de procesare consumată în timpul producerii fiecărui răspuns.Cutofă de cunoștințeCel mai recent moment din timp reflectat în datele de antrenament ale unui model.

Aflați mai multe în ghidurile noastre gratuite

Tail Latency in Model Serving Reducing LLM App Latency Time to First Token and Latency Metrics

Vezi și

Label Smoothing Large Language Model (LLM)Knowledge Graph Learning Rate Knowledge Distillation LoRA (Low-Rank Adaptation)Loss Function Jailbreak