학습 뉴스 도구 채용 미션

AI 용어집

RoPE(로터리 위치 임베딩)(이)란?

정의

쿼리 및 키 벡터를 회전하여 상대 토큰 위치를 인코딩하는 위치 인코딩 방법입니다.

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기

위치 인코딩변환기가 시퀀스 순서를 구별할 수 있도록 토큰 임베딩에 정보가 추가되었습니다.알리바이토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.RAG-퓨전여러 쿼리 변형을 생성하고 각각에 대한 결과를 검색하고 순위를 통합하는 검색 방법입니다.ANN(근사적인 가장 가까운 이웃)철저한 비교 없이 쿼리에 가까운 벡터를 찾고 정확성을 속도로 바꾸는 알고리즘입니다.RAG(검색-증강 생성)추론 시 외부 지식을 검색하여 생성에 제공하는 방법입니다.인간 피드백을 통한 강화 학습(RLHF)인간의 선호 신호를 사용하여 모델 행동을 형성하는 훈련 방법입니다.

무료 가이드에서 자세히 알아보세요

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

또한보십시오

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts