WordPiece 토큰화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. WordPiece 출력에서 ​​'##' 접두사는 무엇을 나타냅니까?
   • 토큰은 단어 초기가 아닌 단어 내부의 연속 부분입니다.
   • 토큰은 [SEP]와 같은 특수 구분 기호입니다.
   • 토큰은 어휘에서 가장 높은 빈도를 갖습니다.
   • 토큰은 알 수 없는 어휘 마커입니다.
2. 원래 BERT에서 사용되는 WordPiece 어휘의 크기는 대략 얼마나 됩니까?
   • 약 256개의 토큰
   • 약 30,000개의 토큰
   • 약 100만개 토큰
   • 토큰 약 500개
3. WordPiece의 병합 기준은 표준 바이트 쌍 인코딩과 어떻게 다릅니까?
   • 어휘를 줄이기 위해 가장 희귀한 쌍을 병합합니다.
   • 절대 병합하지 않고 문자만 사용합니다.
   • 원시 빈도가 아닌 훈련 데이터 가능성을 최대화하여 병합합니다.
   • 훈련 중에 무작위로 쌍을 병합합니다.
4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
   • It always falls back to individual Unicode characters
   • A random subword selected from the vocabulary
   • The original word encoded as one new token
   • The unknown-token marker, such as [UNK]
5. 추론 시 WordPiece는 단어를 분할하는 방법을 어떻게 선택합니까?
   • 왼쪽에서 오른쪽으로 어휘의 가장 긴 하위 단어와 탐욕적으로 일치합니다.
   • 가능한 가장 짧은 조각을 먼저 선택합니다.
   • 가능한 모든 분할을 시도하고 평균을 냅니다.
   • 신경망을 사용하여 분할을 예측합니다.
6. WordPiece와 가장 관련이 있는 잘 알려진 모델 계열은 무엇입니까?
   • GPT 모델
   • BERT 및 그 파생 상품
   • LLaMA 모델
   • Stable Diffusion
7. What kind of vocabulary did multilingual BERT use across its training languages?
   • A completely separate vocabulary for every language
   • A vocabulary made only of complete words
   • One shared WordPiece vocabulary
   • A list of byte sequences with no subwords
8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
   • GPT2Tokenizer
   • RobertaTokenizer
   • CLIPTokenizer
   • BertTokenizer