কি স্লাইডিং উইন্ডো মনোযোগ?
সংজ্ঞা
একটি মনোযোগের প্যাটার্ন যেখানে প্রতিটি টোকেন গণনা কমাতে কাছাকাছি টোকেনের একটি নির্দিষ্ট-আকারের উইন্ডোতে উপস্থিত থাকে।
সম্পর্কিত পদ
আমাদের বিনামূল্যের গাইডে আরও জানুন
Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention