KI-Glossarbegriff

Was ist Latenz?

Definition

Die Zeit zwischen dem Senden einer Anfrage und dem Empfang der Modellausgabe.

Durchsuchen Sie das vollständige KI-GlossarEntdecken Sie alle kostenlosen KI-Anleitungen

Verwandte Begriffe

AufmerksamkeitsmechanismusEine Modellkomponente, die sich beim Erzeugen einer Ausgabe dynamisch auf relevante Teile einer Eingabe konzentriert.Autonomes SystemEin System, das mit begrenzter oder keiner direkten menschlichen Kontrolle in Echtzeit Entscheidungen treffen und handeln kann.CLIPEine multimodale Modellarchitektur, die gemeinsame Darstellungen zwischen Text und Bildern lernt.DatendriftEine Verschiebung der realen Eingabedaten im Laufe der Zeit, die die Modellleistung beeinträchtigen kann.InferenzzeitberechnungDie Menge an Rechenleistung, die bei der Erstellung jeder Antwort verbraucht wird.WissensunterbrechungDer letzte Zeitpunkt, der in den Trainingsdaten eines Modells widergespiegelt wird.

Erfahren Sie mehr in unseren kostenlosen Ratgebern

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Siehe auch

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak