Cuestionario vinculado a una guía · Medio Nivel

Prueba de tokenización de SentencePiece

Revise el entrenamiento de texto sin formato, el espaciado reversible, los algoritmos de vocabulario y el respaldo de bytes de SentencePiece para el procesamiento de texto multilingüe.

Rutas de guía relacionadasTokenización de frases
Pregunta 1 de 8

¿Qué suposición clave evita SentencePiece en la que confían los tokenizadores tradicionales?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué suposición clave evita SentencePiece en la que confían los tokenizadores tradicionales?
    • Que las palabras estén separadas por espacios.
    • Ese texto está codificado en UTF-8.
    • Que las oraciones terminen con puntuación.
    • Que el vocabulario esté fijado de antemano
  2. ¿Por qué SentencePiece reemplaza los espacios con un metasímbolo visible?
    • Para comprimir el texto de forma más agresiva
    • Para hacer que la tokenización sea completamente reversible (sin pérdidas)
    • Para eliminar toda la puntuación automáticamente
    • Para traducir entre idiomas
  3. ¿Qué dos algoritmos admite principalmente SentencePieza?
    • TF-IDF y Word2Vec
    • LSTM y CNN
    • BPE y el modelo de lenguaje Unigram
    • K-medias y PCA
  4. ¿Cómo construye el vocabulario el modelo Unigram?
    • Comenzando vacío y fusionando pares de caracteres frecuentes
    • Copiando un diccionario de inglés
    • Usando una lista fija de 1000 palabras
    • Comenzando en grande y podando las partes menos útiles a través de EM
  5. ¿Qué modelo utiliza un tokenizador SentencePieza?
    • T5
    • GPT-2
    • ELMo
    • guante
  6. ¿Qué ventaja le da a SentencePiece el respaldo a nivel de bytes?
    • Hace que el modelo entrene más rápido.
    • Garantiza que cualquier personaje pueda ser representado, evitando fallos por falta de vocabulario.
    • Elimina la necesidad de atención.
    • Duplica el tamaño del vocabulario automáticamente.
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation