무엇입니까? 토큰?

텍스트, 이미지, 오디오, 비디오, 코드 등 새로운 콘텐츠를 생산하는 AI 시스템.

텍스트를 생성하고 분석하기 위해 대규모 텍스트 말뭉치를 학습한 언어 모델입니다.

텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.

공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.

언어 모델의 단계별 추론을 평가하는 데 사용되는 초등학교 수학 단어 문제의 벤치마크입니다.

모델 입력을 위해 텍스트를 토큰으로 분할하는 프로세스입니다.