워드피스 토큰화
WordPiece는 BERT 및 많은 Google 모델을 지원하는 하위 단어 토큰화 알고리즘으로, 단어를 재사용 가능한 조각으로 분할하여 모델이 고정된 어휘가 있는 모든 텍스트를 처리할 수 있도록 합니다.
개요
'불행'을 본 적이 없는 모델이라도 'un', '##happy', '##ness'를 읽으면 이해할 수 있는 이유입니다.
심층 분석
WordPiece는 전체 단어나 단일 문자가 아닌 하위 단어 단위의 어휘를 구축합니다. 개별 문자부터 시작하여 훈련 코퍼스의 가능성을 가장 높이는 기호 쌍을 탐욕스럽게 병합하여 목표 어휘 크기에 도달할 때까지 반복합니다(BERT는 약 30,000개의 토큰을 사용합니다). 추론 시에는 어휘의 가장 긴 하위 단어를 일치시키고 나머지 부분을 계속해서 왼쪽에서 오른쪽으로 탐욕스럽게 토큰화합니다. 단어 안의 연속 부분에는 '##' 접두사가 표시되므로 'playing'은 'play' + '##ing'이 됩니다. 이는 어휘 부족 문제를 해결합니다. 희귀하거나 보이지 않는 단어는 단순히 알려진 조각으로 분해되어 필요한 경우 단일 문자로 분류되는 반면, 일반적인 단어는 효율성을 위해 단일 토큰으로 유지됩니다.
기술적 통찰력
WordPiece는 병합 기준이 바이트 쌍 인코딩과 다릅니다. BPE는 가장 빈번한 인접 쌍을 병합합니다. WordPiece는 훈련 데이터 가능성을 최대화하는 쌍을 병합하여 결합 빈도가 부분 빈도의 곱을 가장 많이 초과하는 쌍을 대략 선택합니다. '##' 마커는 단어의 첫 부분과 이어지는 부분을 구별하여 토크나이저가 텍스트로 다시 디코딩할 때 단어 경계를 명확하게 재구성할 수 있도록 합니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
WordPiece 토큰화의 미래
새로운 대규모 언어 모델에서는 언어별 전처리를 피하고 모든 유니코드 입력을 처리하는 바이트 수준 BPE(GPT 제품군) 또는 SentencePiece 유니그램 모델을 점점 더 선호하고 있습니다. WordPiece는 검색 및 분류를 위해 여전히 널리 배포되는 BERT 파생 인코더의 기반으로 남아 있습니다. 고정 하위 단어 어휘에 대한 의존도를 완전히 줄일 수 있는 토크나이저 없는 바이트 및 문자 모델에 대한 연구와 함께 프로덕션 NLP에서 지속적인 사용을 기대합니다.
실제 구현
BERT는 Google 검색에서 검색어를 토큰화하여 익숙하지 않은 용어를 하위 단어로 나누어 모델이 관련 페이지와 계속 일치할 수 있도록 합니다.
Hugging Face의 BertTokenizer는 WordPiece를 사용하여 감정 분석 및 명명된 엔터티 인식을 위해 원시 텍스트를 BERT에 공급되는 토큰 ID로 변환합니다.
다국어 BERT는 100개 이상의 언어에서 공유된 WordPiece 어휘를 사용하여 관련 스크립트에서 조각을 재사용할 수 있습니다.
DistilBERT 및 임상/생의학 BERT 변종은 WordPiece를 상속하여 '진폐증'과 같은 희귀 의학 용어를 알려진 조각으로 분할하여 처리합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the WordPiece Tokenization quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
서브워드 토큰화
자주 묻는 질문
WordPiece 토큰화란 무엇입니까?
WordPiece는 BERT 및 많은 Google 모델을 지원하는 하위 단어 토큰화 알고리즘으로, 단어를 재사용 가능한 조각으로 분할하여 모델이 고정된 어휘가 있는 모든 텍스트를 처리할 수 있도록 합니다. '불행'을 본 적이 없는 모델이라도 'un', '##happy', '##ness'를 읽으면 여전히 이해할 수 있는 이유입니다.
WordPiece 출력에서 '##' 접두사는 무엇을 나타냅니까?
WordPiece는 하위 단어 연속을 '##'으로 표시하므로 'playing'은 'play' + '##ing'이 되어 디코더가 단어 경계를 재구성할 수 있습니다.
원래 BERT에서 사용되는 WordPiece 어휘의 크기는 대략 얼마나 됩니까?
BERT는 대략 30,000개의 하위 단어 단위로 구성된 WordPiece 어휘를 사용하여 포함 테이블 크기에 대한 적용 범위의 균형을 맞춥니다.
WordPiece의 병합 기준은 표준 바이트 쌍 인코딩과 어떻게 다릅니까?
BPE는 가장 빈번한 인접 쌍을 병합하는 반면, WordPiece는 말뭉치 가능성을 가장 많이 증가시키는 쌍을 병합하여 결합 빈도가 해당 부분의 곱을 초과하는 쌍을 선호합니다.
WordPiece는 훈련 중에 한 번도 본 적이 없는 단어를 어떻게 처리합니까?
보이지 않는 단어는 일치하는 가장 긴 알려진 하위 단어로 분할되어 단일 문자로 돌아가서 어휘 부족 문제를 해결합니다.
추론 시 WordPiece는 단어를 분할하는 방법을 어떻게 선택합니까?
WordPiece는 현재 위치에서 시작하여 가장 긴 어휘 항목을 일치시킨 다음 나머지 부분에서 반복하여 탐욕적으로 토큰화합니다.