What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

정의

쿼리 및 키 벡터를 회전하여 상대 토큰 위치를 인코딩하는 위치 인코딩 방법입니다.

관련 용어

위치 인코딩

변환기가 시퀀스 순서를 구별할 수 있도록 토큰 임베딩에 정보가 추가되었습니다.

토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.

여러 쿼리 변형을 생성하고 각각에 대한 결과를 검색하고 순위를 통합하는 검색 방법입니다.

ANN(근사적인 가장 가까운 이웃)

철저한 비교 없이 쿼리에 가까운 벡터를 찾고 정확성을 속도로 바꾸는 알고리즘입니다.

RAG(검색-증강 생성)

추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.

인간 피드백을 통한 강화 학습(RLHF)

인간의 선호 신호를 사용하여 모델 행동을 형성하는 훈련 방법입니다.

무료 가이드에서 자세히 알아보세요

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

See also

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기