AI 용어집

토큰화(이)란?

정의

모델 입력을 위해 텍스트를 토큰으로 분할하는 프로세스입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

컨텍스트 창언어 모델이 한 번에 처리할 수 있는 최대 입력 토큰 양입니다.BPE(바이트 쌍 인코딩)가장 자주 사용되는 문자 쌍을 재사용 가능한 토큰으로 병합하는 하위 단어 토큰화 알고리즘입니다.인코더입력을 잠재 표현으로 변환하는 모델의 구성 요소입니다.다중 모드 모델텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.OCR(광학 문자 인식)이미지나 스캔의 텍스트를 기계가 읽을 수 있는 텍스트로 변환하는 기술입니다.문장조각공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.

무료 가이드에서 자세히 알아보세요

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

또한보십시오

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning