무엇입니까? 플래시 주의?
정의
메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.
관련 용어
무료 가이드에서 자세히 알아보세요
Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention
메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.