SentencePiece 토큰화 퀴즈

퀴즈를 풀면 정답과 설명이 나타납니다.

1. SentencePiece는 기존 토크나이저가 의존하는 어떤 주요 가정을 피합니까?
   • 단어는 공백으로 구분됩니다.
   • 해당 텍스트는 UTF-8로 인코딩됩니다.
   • 문장이 구두점으로 끝나는군요
   • 사전에 어휘가 정해져 있다는 것
2. SentencePiece가 공백을 보이는 메타 기호로 바꾸는 이유는 무엇입니까?
   • 텍스트를 보다 적극적으로 압축하려면
   • 토큰화를 완전히 되돌릴 수 있도록(무손실)
   • 모든 구두점을 자동으로 제거하려면
   • 언어 간 번역
3. SentencePiece는 주로 어떤 두 가지 알고리즘을 지원합니까?
   • TF-IDF와 Word2Vec
   • LSTM과 CNN
   • BPE 및 Unigram 언어 모델
   • K-평균 및 PCA
4. Unigram 모델은 어떻게 어휘를 구성합니까?
   • 빈 문자로 시작하고 자주 사용되는 문자 쌍을 병합하여
   • 영어사전을 복사해서
   • 1,000 단어의 고정된 목록을 사용하여
   • 큰 규모로 시작하고 EM을 통해 가장 유용하지 않은 부분을 잘라냄
5. SentencePiece 토크나이저를 사용하는 것으로 유명한 모델은 무엇입니까?
   • T5
   • GPT-2
   • 엘모
   • 장갑
6. 바이트 수준 대체는 SentencePiece에 어떤 이점을 제공합니까?
   • 모형 기차가 더 빨라집니다.
   • 어휘를 벗어난 오류를 방지하여 모든 문자를 표현할 수 있음을 보장합니다.
   • 주의를 기울일 필요가 없어집니다.
   • 자동으로 어휘 크기를 두 배로 늘립니다.
7. What kind of input can SentencePiece use to train a subword model directly?
   • Only text already converted to English word tokens
   • Only a fixed dictionary of complete words
   • Raw sentences, without first splitting them into word sequences
   • Only character-frequency tables with no sentence data
8. Why is a language-independent tokenizer useful for multilingual text?
   • It translates every input into one language before tokenizing
   • It assigns the same meaning to every token in every language
   • It removes the need for a model vocabulary
   • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation