What is Multi-Head Attention? Definition | AI Understanding

정의

다양한 유형의 관계를 캡처하기 위해 여러 주의 작업을 병렬로 실행하는 변환기 메커니즘입니다.

관련 용어

시퀀스 전체의 관계를 병렬로 모델링하는 데 주의를 기울이는 신경 아키텍처입니다.

다중 쿼리 검색

회상률을 높이기 위해 사용자 쿼리를 여러 변형으로 다시 작성하는 검색 기술입니다.

주의 메커니즘

출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.

플래시 주의

메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.

다중 모드 모델

텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.

지식 그래프

추론이나 검색에 사용되는 개체와 관계의 그래프 구조입니다.

무료 가이드에서 자세히 알아보세요

Multilingual LLMs Multimodal Search Hard Parameter Sharing in Multi-Task Networks Attention Rollout and Head Pruning

See also

Positional Encoding QLoRA RoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBi Tree of Thoughts Sliding Window Attention ReAct

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기