무엇입니까? 토큰화?

언어 모델이 한 번에 처리할 수 있는 최대 입력 토큰 양입니다.

가장 자주 사용되는 문자 쌍을 재사용 가능한 토큰으로 병합하는 하위 단어 토큰화 알고리즘입니다.

입력을 잠재 표현으로 변환하는 모델의 구성 요소입니다.

텍스트, 이미지, 오디오 등 다양한 데이터 유형을 처리하거나 생성할 수 있는 모델입니다.

이미지나 스캔의 텍스트를 기계가 읽을 수 있는 텍스트로 변환하는 기술입니다.

공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.