AI 용어집

주의 메커니즘(이)란?

정의

출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

인코더입력을 잠재 표현으로 변환하는 모델의 구성 요소입니다.다중 헤드 주의다양한 유형의 관계를 캡처하기 위해 여러 주의 작업을 병렬로 실행하는 변환기 메커니즘입니다.알리바이토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.분류모델이 하나 이상의 사전 정의된 범주에 입력을 할당하는 작업입니다.컨텍스트 창언어 모델이 한 번에 처리할 수 있는 최대 입력 토큰 양입니다.데이터 드리프트시간에 따른 실제 입력 데이터의 변화로 인해 모델 성능이 저하될 수 있습니다.

무료 가이드에서 자세히 알아보세요

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

또한보십시오

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark