AI 용어집

무엇입니까? 알리바이?

정의

토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.

관련 용어

RoPE(로터리 위치 임베딩)
쿼리 및 키 벡터를 회전하여 상대 토큰 위치를 인코딩하는 위치 인코딩 방법입니다.
위치 인코딩
변환기가 시퀀스 순서를 구별할 수 있도록 토큰 임베딩에 정보가 추가되었습니다.
슬라이딩 윈도우 주의
계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.
알고리즘 편향
왜곡된 데이터, 가정 또는 모델링 선택으로 인해 발생하는 모델 출력의 체계적 불공평성입니다.
주의 메커니즘
출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.
편견
데이터 또는 모델 동작의 일관된 오류 또는 불공정 패턴입니다.

무료 가이드에서 자세히 알아보세요

ALiBi Position Bias

See also

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기