What is Sliding Window Attention? Definition | AI Understanding

Itumọ

Apẹrẹ akiyesi nibiti ami ami kọọkan wa nikan si window iwọn ti o wa titi ti awọn ami ti o wa nitosi lati dinku iṣiro.

Awọn ofin ti o jọmọ

Yiyọ awọn iwuwo awoṣe ti ko ṣe pataki tabi awọn neuronu lati dinku iwọn ati iṣiro.

Idiyelé-orisun Lilo

Ifowoleri nibiti awọn idiyele idiyele pẹlu awọn ipe API, awọn ami-ami, akoko itọkasi, tabi iṣiro ti o jẹ.

Ibasepo ti o ni agbara ti n fihan bi iṣẹ ṣe n dara si pẹlu iwọn awoṣe, data, tabi iṣiro.

Awoṣe fọnka

Awoṣe nibiti ọpọlọpọ awọn paramita jẹ odo tabi aiṣiṣẹ lati dinku iṣiro.

Speculative Yiyipada

Ọna isare ifọkasi nibiti awoṣe iyaworan kekere kan ṣeduro awọn ami ti awoṣe ti o tobi julọ jẹri ni afiwe.

Ferese ọrọ ọrọ

Iwọn ti o pọ julọ ti awọn ami titẹ sii awoṣe ede le ṣe ilana ni ẹẹkan.

Kọ ẹkọ diẹ sii ninu awọn itọsọna ọfẹ wa

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Wo tun

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

Ṣawakiri ni kikun AI Gilosari Ṣawari gbogbo awọn itọsọna AI ọfẹ