Cuestionario vinculado a una guía · Medio Nivel

Prueba de tokenización de Wordpiece

Revise el vocabulario de WordPiece y las codiciosas reglas de segmentación, incluido su papel en BERT multilingüe y su contraste con BPE.

Rutas de guía relacionadasTokenización de piezas de palabras
Pregunta 1 de 8

¿Qué indica el prefijo '##' en la salida de WordPieza?

Vista previa de cada pregunta8 preguntas

Las respuestas y explicaciones aparecen a medida que realiza el cuestionario.

  1. ¿Qué indica el prefijo '##' en la salida de WordPieza?
    • El token es una pieza de continuación dentro de una palabra, no una inicial de palabra.
    • El token es un separador especial como [SEP]
    • El token tiene la frecuencia más alta en el vocabulario.
    • El token es un marcador desconocido fuera del vocabulario.
  2. ¿Aproximadamente qué tamaño tiene el vocabulario de Wordpiece utilizado por el BERT original?
    • Alrededor de 256 fichas
    • Alrededor de 30.000 fichas
    • Alrededor de 1 millón de tokens
    • Alrededor de 500 fichas
  3. ¿En qué se diferencia el criterio de combinación de WordPiece de la codificación de pares de bytes estándar?
    • Fusiona el par más raro para reducir el vocabulario.
    • Nunca se fusiona y usa solo caracteres.
    • Se fusiona maximizando la probabilidad de los datos de entrenamiento en lugar de la frecuencia bruta.
    • Fusiona pares al azar durante el entrenamiento.
  4. ¿Qué devuelve un tokenizador WordPiece estilo BERT si no puede segmentar una palabra en piezas del vocabulario?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. En el momento de la inferencia, ¿cómo elige WordPieza cómo dividir una palabra?
    • Coincide con la subpalabra más larga del vocabulario con avidez, de izquierda a derecha.
    • Primero elige las piezas más cortas posibles.
    • Intenta todas las divisiones posibles y las promedia.
    • Utiliza una red neuronal para predecir divisiones.
  6. ¿Con qué familia de modelos conocida se asocia más WordPieza?
    • Modelos GPT
    • BERT y sus derivados
    • Modelos LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer