학습 뉴스 도구 채용 미션

AI 용어집

토큰(이)란?

정의

단어 조각이나 기호와 같은 언어 모델에 의해 처리되는 텍스트 덩어리입니다.

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기

생성형 AI텍스트, 이미지, 오디오, 비디오, 코드 등 새로운 콘텐츠를 생산하는 AI 시스템.대형 언어 모델(LLM)텍스트를 생성하고 분석하기 위해 대규모 텍스트 말뭉치를 학습한 언어 모델입니다.다중 모드 모델텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.문장조각공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.GSM8K언어 모델의 단계별 추론을 평가하는 데 사용되는 초등학교 수학 단어 문제의 벤치마크입니다.토큰화모델 입력을 위해 텍스트를 토큰으로 분할하는 프로세스입니다.

무료 가이드에서 자세히 알아보세요

SentencePiece Tokenization WordPiece Tokenization Tokenizer-Free Byte-Level Models Speculative Streaming and Multi-Token Prediction

또한보십시오

Temperature System Prompt Tool Use Synthetic Data Top-k Sampling Supervised Learning Top-p (Nucleus) Sampling Sparse Model