কি ফ্ল্যাশ মনোযোগ?
সংজ্ঞা
একটি অপ্টিমাইজ করা মনোযোগ অ্যালগরিদম যা মেমরির ব্যবহার হ্রাস করে এবং ট্রান্সফরমার প্রশিক্ষণ এবং অনুমানকে গতি দেয়।
সম্পর্কিত পদ
আমাদের বিনামূল্যের গাইডে আরও জানুন
Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention