What is Attention Mechanism? Definition | AI Understanding

Definice

Komponenta modelu, která se při vytváření výstupu dynamicky zaměřuje na relevantní části vstupu.

Související pojmy

Komponenta modelu, která transformuje vstup na latentní reprezentace.

Vícehlavá pozornost

Mechanismus transformátoru, který paralelně spouští několik operací pozornosti k zachycení různých typů vztahů.

Metoda pozičního zkreslení, která penalizuje skóre pozornosti na základě tokenové vzdálenosti a pomáhá modelům extrapolovat na delší kontexty.

Úloha, kde model přiřadí vstup jedné nebo více předdefinovaným kategoriím.

Kontextové okno

Maximální množství vstupních tokenů, které jazykový model dokáže zpracovat najednou.

Časový posun ve vstupních datech reálného světa, který může snížit výkon modelu.

Více se dozvíte v našich bezplatných průvodcích

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Viz také

Artificial Intelligence (AI)Autonomous System API (Application Programming Interface)Backpropagation Annotation Baseline Model Algorithmic Transparency Benchmark

Projděte si celý glosář AI Prozkoumejte všechny bezplatné průvodce AI