Quiz collegato alla guida · Medio Livello

Quiz sulla tokenizzazione di WordPiece

Rivedi il vocabolario e le avide regole di segmentazione di WordPiece, compreso il suo ruolo nel BERT multilingue e il suo contrasto con BPE.

Percorsi guida correlatiTokenizzazione di Wordpiece
Domanda 1 di 8

Cosa indica il prefisso '##' nell'output di WordPiece?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Cosa indica il prefisso '##' nell'output di WordPiece?
    • Il token è un pezzo di continuazione all'interno di una parola, non l'iniziale della parola
    • Il token è un separatore speciale come [SEP]
    • Il token ha la frequenza più alta nel vocabolario
    • Il token è un indicatore sconosciuto fuori dal vocabolario
  2. Quanto è ampio all'incirca il vocabolario di WordPiece utilizzato dal BERT originale?
    • Circa 256 gettoni
    • Circa 30.000 gettoni
    • Circa 1 milione di token
    • Circa 500 gettoni
  3. In che modo il criterio di unione di WordPiece differisce dalla codifica Byte-Pair standard?
    • Unisce la coppia più rara per ridurre il vocabolario
    • Non si unisce mai e utilizza solo caratteri
    • Si fonde massimizzando la verosimiglianza dei dati di addestramento piuttosto che la frequenza grezza
    • Unisce le coppie in modo casuale durante l'allenamento
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. Al momento dell'inferenza, come fa WordPiece a scegliere come dividere una parola?
    • Abbina avidamente la sottoparola più lunga del vocabolario, da sinistra a destra
    • Sceglie prima i pezzi più corti possibili
    • Prova ogni possibile divisione e ne calcola la media
    • Utilizza una rete neurale per prevedere le divisioni
  6. A quale nota famiglia di modelli è maggiormente associato WordPiece?
    • Modelli GPT
    • BERT e suoi derivati
    • Modelli LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer