AI 용어집

위치 인코딩(이)란?

정의

변환기가 시퀀스 순서를 구별할 수 있도록 토큰 임베딩에 정보가 추가되었습니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

RoPE(로터리 위치 임베딩)쿼리 및 키 벡터를 회전하여 상대 토큰 위치를 인코딩하는 위치 인코딩 방법입니다.알리바이토큰 거리에 따라 주의 점수에 불이익을 주는 위치 바이어스 방법으로, 모델이 더 긴 컨텍스트로 추정하는 데 도움이 됩니다.매개변수 효율적인 미세 조정(PEFT)추가된 매개변수의 작은 하위 집합을 훈련하여 모델을 조정하는 방법입니다.AGI(인공일반지능)다양한 영역에 걸쳐 인간 수준에서 대부분의 지적 작업을 수행할 수 있는 가상의 AI 시스템입니다.AI 에이전트종종 도구와 메모리를 사용하여 목표를 달성하기 위해 관찰하고, 추론하고, 조치를 취할 수 있는 소프트웨어 시스템입니다.주석기계 학습 모델을 훈련하거나 평가하는 데 사용되는 사람이 추가한 레이블 또는 메타데이터입니다.

무료 가이드에서 자세히 알아보세요

Positional Interpolation for Long ContextInstant-NGP Hash EncodingByte-Pair EncodingTokenization and Byte Pair Encoding

또한보십시오

Multi-Head AttentionFlash AttentionQLoRASliding Window AttentionDPO (Direct Preference Optimization)BPE (Byte Pair Encoding)Tree of ThoughtsSentencePiece