AI 용어집

다중 헤드 주의(이)란?

정의

다양한 유형의 관계를 캡처하기 위해 여러 주의 작업을 병렬로 실행하는 변환기 메커니즘입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

변압기시퀀스 전체의 관계를 병렬로 모델링하는 데 주의를 기울이는 신경 아키텍처입니다.다중 쿼리 검색회상률을 높이기 위해 사용자 쿼리를 여러 변형으로 다시 작성하는 검색 기술입니다.주의 메커니즘출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.플래시 주의메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.다중 모드 모델텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.지식 그래프추론이나 검색에 사용되는 개체와 관계의 그래프 구조입니다.

무료 가이드에서 자세히 알아보세요

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

또한보십시오

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct