Termin ze słownika AI

Czym jest Opóźnienie?

Definicja

Czas między wysłaniem żądania a otrzymaniem danych wyjściowych modelu.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Mechanizm uwagiKomponent modelu, który podczas tworzenia wyniku dynamicznie koncentruje się na odpowiednich częściach danych wejściowych.System autonomicznySystem, który może podejmować decyzje i działać w czasie rzeczywistym przy ograniczonej bezpośredniej kontroli człowieka lub bez niej.KLIPSArchitektura modelu multimodalnego, która uczy się wspólnych reprezentacji tekstu i obrazów.Dryf danychZmiana rzeczywistych danych wejściowych w czasie, która może obniżyć wydajność modelu.Obliczanie czasu wnioskowaniaIlość mocy obliczeniowej zużywanej podczas generowania każdej odpowiedzi.Odcięcie wiedzyOstatni punkt w czasie odzwierciedlony w danych szkoleniowych modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Zobacz także

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak