토큰화 및 바이트 쌍 인코딩 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. 언어 모델이 읽을 수 있도록 토큰화는 무엇을 생성합니까?
   • 텍스트 조각에 매핑된 정수 ID인 토큰
   • 원시 오디오 파형
   • 픽셀 그리드
   • 컴파일된 기계어 코드
2. 바이트 쌍 인코딩은 어떻게 어휘를 구성합니까?
   • 사전의 전체 단어당 하나의 토큰을 할당하여
   • 가장 자주 인접한 기호 쌍을 반복적으로 병합하여
   • 무작위로 문자를 그룹화하여
   • 먼저 텍스트를 다른 언어로 번역하여
3. 단어 수준 토큰화와 비교하여 BPE와 같은 하위 단어 방법은 어떤 문제를 해결합니까?
   • 그들은 모든 문장을 정확히 하나의 토큰으로 만듭니다.
   • 어떤 어휘도 필요하지 않습니다.
   • 희귀하거나 보이지 않는 단어를 재사용 가능한 조각으로 분할하여 처리합니다.
   • 그들은 영어로만 작동합니다
4. GPT 모델에 사용되는 바이트 수준 BPE의 장점은 무엇입니까?
   • 모든 언어에 대해 다른 방법보다 적은 토큰을 사용합니다.
   • 모델을 훈련할 필요가 없습니다.
   • 영문자만 인코딩합니다.
   • 어휘 오류 없이 이모티콘과 모든 언어를 포함한 모든 유니코드 텍스트를 나타낼 수 있습니다.
5. 모델의 토큰 수가 문장의 단어 수와 종종 다른 이유는 무엇입니까?
   • 공백, 대문자 및 희귀 단어는 텍스트가 분할되는 방식을 변경하고 하나의 단어가 여러 토큰이 될 수 있습니다.
   • 토큰은 임의의 언어로 계산됩니다.
   • 각 단어는 항상 정확히 두 개의 토큰입니다.
   • 토큰 수는 구두점에만 의존합니다.
6. 바이트 쌍 인코딩 알고리즘은 원래 어떤 필드에서 차용되었습니까?
   • 이미지 렌더링
   • 데이터 압축
   • 데이터베이스 인덱싱
   • 암호화
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet