토큰화
토큰화는 텍스트를 언어 모델이 실제로 읽고 예측하는 단위인 토큰이라는 작은 조각으로 자르는 단계입니다.
개요
It quietly shapes cost, context limits, and even how well a model handles spelling and rare words.
심층 분석
모델이 텍스트를 보기 전에 토크나이저는 이를 토큰으로 분할합니다. 토큰은 일반적으로 전체 단어나 단일 문자가 아닌 하위 단어 덩어리입니다. '불행'이라는 단어는 'un', '행복'이 될 수도 있고, '토큰화'가 '토큰'과 '화'로 나뉘어질 수도 있습니다. 일반적인 단어는 종종 단일 토큰에 매핑되는 반면, 희귀한 단어, 이름 또는 코드는 여러 개로 분할됩니다. 그런 다음 각 토큰은 모델이 벡터로 변환하는 ID 번호에 매핑됩니다. 모델에는 토큰으로 측정된 고정 컨텍스트 창과 토큰당 API 청구서가 있으므로 이는 실질적으로 중요합니다. 따라서 대략적인 영어 경험 법칙은 토큰당 약 4자 또는 0.75단어입니다. 토큰화는 또한 고전적인 모델의 단점을 설명합니다. 모델은 개별 문자가 아닌 덩어리를 보기 때문에 글자 수를 세거나 정확한 철자를 수행하는 것이 어렵습니다.
기술적 통찰력
대부분의 최신 LLM은 BPE(바이트 쌍 인코딩) 또는 해당 바이트 수준 변형과 같은 하위 단어 토큰화를 사용합니다. BPE는 문자에서 시작하여 가장 빈번하게 인접한 쌍을 반복적으로 병합하여 고정된 어휘(종종 30,000~100,000개 이상의 토큰)를 구축합니다. 이는 두 가지 극단의 균형을 유지합니다. 즉, 단어 수준 토큰화는 보이지 않는 단어를 처리할 수 없는 반면 문자 수준은 시퀀스를 매우 길게 만듭니다. 하위 단어를 사용하면 모델이 시퀀스를 합리적으로 짧게 유지하면서 알려진 부분을 구성하여 오타 및 새 단어를 포함한 모든 문자열을 표현할 수 있습니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
토큰화의 미래
토큰화는 효율성과 공정성을 제한하기 때문에 활발한 연구 분야입니다. 더 많은 조각으로 토큰화되는 언어는 비용이 더 많이 들고 컨텍스트를 더 빨리 소모하므로 다국어 공정성은 더 좋고 균형 잡힌 어휘를 통해 해결되는 실질적인 문제입니다. 연구원들은 또한 토큰이 없거나 바이트 수준 모델(예: ByT5)을 탐색하고 불안정한 수동 조정 단계를 완전히 제거할 수 있는 토큰화를 배웠습니다. 현재로서는 더 많은 어휘, 더 스마트한 다국어 토크나이저, 토큰 기반 가격 책정 및 컨텍스트 예산 책정에 대한 사용자 인식 증가를 기대합니다.
실제 구현
GPT 및 Claude과 같은 모델의 API 가격은 입력 및 출력 토큰별로 청구되므로 토큰 수는 비용에 직접적인 영향을 미칩니다.
컨텍스트 창 제한(예: 128K 또는 200K 토큰)은 토큰 단위로 측정되며 포함할 수 있는 텍스트 또는 코드의 양을 제한합니다.
개발자는 토크나이저(예: tiktoken)를 사용하여 요청을 보내기 전에 프롬프트 크기를 추정하고 콘텐츠를 다듬습니다.
토큰화는 모델이 문자가 아닌 하위 단어 덩어리를 보기 때문에 단어의 문자 수를 세거나 문자열을 뒤집는 데 어려움을 겪는 이유를 설명합니다.
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
토큰화가 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
SentencePiece 토큰화
자주 묻는 질문
What is Tokenization?
토큰화는 텍스트를 언어 모델이 실제로 읽고 예측하는 단위인 토큰이라는 작은 조각으로 자르는 단계입니다. 비용, 컨텍스트 제한은 물론 모델이 철자와 희귀 단어를 얼마나 잘 처리하는지까지 조용히 결정합니다.
언어 모델의 맥락에서 '토큰'이란 무엇입니까?
토큰은 모델이 처리하는 단위로, 일반적으로 하위 단어 덩어리, 때로는 전체 단어 또는 단일 문자입니다.
대부분의 최신 LLM은 어떤 토큰화 접근 방식을 사용합니까?
BPE와 같은 하위 단어 방법은 자주 사용되는 문자 쌍을 병합하여 순수 단어 수준 접근 방식과 문자 수준 접근 방식의 약점을 균형 있게 조정합니다.
LLM이 토큰화로 인해 단어의 글자 수 세기와 같은 작업을 어렵게 만드는 이유는 무엇입니까?
텍스트는 하위 단어 토큰으로 그룹화되므로 모델은 각 문자를 직접 인식하지 못하므로 문자 수준 작업에서는 오류가 발생하기 쉽습니다.
API 비용 및 컨텍스트 제한에 토큰화가 중요한 이유는 무엇입니까?
공급자는 토큰별로 요금을 청구하고 컨텍스트 기간은 토큰 단위로 크기가 결정되므로 토큰 수에 따라 가격과 포함할 수 있는 양이 결정됩니다.
같은 문장이 영어보다 일부 언어에서 더 많은 토큰 비용이 드는 이유는 무엇입니까?
주로 영어로 훈련된 어휘는 다른 언어를 더 많은 토큰으로 분할하여 비용을 높이고 컨텍스트를 더 빠르게 소비합니다.