AI 용어집

알리바이(이)란?

정의

토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

RoPE(로터리 위치 임베딩)쿼리 및 키 벡터를 회전하여 상대 토큰 위치를 인코딩하는 위치 인코딩 방법입니다.위치 인코딩변환기가 시퀀스 순서를 구별할 수 있도록 토큰 임베딩에 정보가 추가되었습니다.슬라이딩 윈도우 주의계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.알고리즘 편향왜곡된 데이터, 가정 또는 모델링 선택으로 인해 발생하는 모델 출력의 체계적 불공평성입니다.주의 메커니즘출력을 생성할 때 입력의 관련 부분에 동적으로 초점을 맞추는 모델 구성 요소입니다.편견데이터 또는 모델 동작의 일관된 오류 또는 불공정 패턴입니다.

무료 가이드에서 자세히 알아보세요

ALiBi Position Bias

또한보십시오

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)