What is Sliding Window Attention? Definition | AI Understanding

ፍቺ

ማስላትን ለመቀነስ እያንዳንዱ ማስመሰያ በአቅራቢያው ባለ ቋሚ መጠን ያለው መስኮት ላይ ብቻ የሚከታተልበት የትኩረት ንድፍ።

ተዛማጅ ውሎች

መከርከም

መጠንን ለመቀነስ እና ለማስላት ብዙም አስፈላጊ ያልሆኑ የሞዴል ክብደቶችን ወይም የነርቭ ሴሎችን ማስወገድ።

በአጠቃቀም ላይ የተመሰረተ የሂሳብ አከፋፈል

በኤፒአይ ጥሪዎች፣ ቶከኖች፣ የግምገማ ጊዜ ወይም የፍጆታ ስሌት ወጪዎች በሚመዘኑበት ጊዜ የዋጋ አሰጣጥ።

የመጠን ሕግ

በአምሳያ መጠን፣ ውሂብ ወይም ስሌት አፈጻጸም እንዴት እንደሚሻሻል የሚያሳይ ተጨባጭ ግንኙነት።

ትንሽ ሞዴል

ስሌትን ለመቀነስ ብዙ መለኪያዎች ዜሮ የሆኑ ወይም የቦዘኑበት ሞዴል።

ግምታዊ ዲኮዲንግ

አንድ ትንሽ ረቂቅ ሞዴል ትልቅ ሞዴል በትይዩ የሚያረጋግጡ ምልክቶችን የሚያቀርብበት የማጣቀሻ ማፋጠን ዘዴ።

የአውድ መስኮት

የቋንቋ ሞዴል በአንድ ጊዜ ሊያስኬድ የሚችለው ከፍተኛው የግቤት ቶከኖች መጠን።

በነጻ መመሪያዎቻችን ውስጥ የበለጠ ይረዱ

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

ተመልከት

ALiBi BPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiece Positional Encoding ANN (Approximate Nearest Neighbor)Multi-Head Attention HNSW

ሙሉውን AI መዝገበ ቃላት ያስሱ ሁሉንም ነፃ AI መመሪያዎችን ያስሱ