Co je Latence? Definice | AI Understanding

Definice

Doba mezi odesláním požadavku a přijetím výstupu modelu.

Související pojmy

Mechanismus pozornosti

Komponenta modelu, která se při vytváření výstupu dynamicky zaměřuje na relevantní části vstupu.

Autonomní systém

Systém, který může činit rozhodnutí a jednat s omezenou nebo žádnou přímou lidskou kontrolou v reálném čase.

Architektura multimodálního modelu, která se učí sdílené reprezentace mezi textem a obrázky.

Časový posun ve vstupních datech reálného světa, který může snížit výkon modelu.

Výpočet inferenčního času

Množství výpočetního výkonu spotřebovaného při vytváření každé odpovědi.

Hranice znalostí

Poslední bod v čase, který se odráží v tréninkových datech modelu.

Viz také

Label Smoothing Large Language Model (LLM)Knowledge Graph Learning Rate Knowledge Distillation LoRA (Low-Rank Adaptation)Loss Function Jailbreak

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI