Quiz collegato alla guida · Medio Livello
Quiz sulla tokenizzazione di WordPiece
Rivedi il vocabolario e le avide regole di segmentazione di WordPiece, compreso il suo ruolo nel BERT multilingue e il suo contrasto con BPE.
Domanda 1 di 8
Cosa indica il prefisso '##' nell'output di WordPiece?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Cosa indica il prefisso '##' nell'output di WordPiece?
- Il token è un pezzo di continuazione all'interno di una parola, non l'iniziale della parola
- Il token è un separatore speciale come [SEP]
- Il token ha la frequenza più alta nel vocabolario
- Il token è un indicatore sconosciuto fuori dal vocabolario
- Quanto è ampio all'incirca il vocabolario di WordPiece utilizzato dal BERT originale?
- Circa 256 gettoni
- Circa 30.000 gettoni
- Circa 1 milione di token
- Circa 500 gettoni
- In che modo il criterio di unione di WordPiece differisce dalla codifica Byte-Pair standard?
- Unisce la coppia più rara per ridurre il vocabolario
- Non si unisce mai e utilizza solo caratteri
- Si fonde massimizzando la verosimiglianza dei dati di addestramento piuttosto che la frequenza grezza
- Unisce le coppie in modo casuale durante l'allenamento
- What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
- It always falls back to individual Unicode characters
- A random subword selected from the vocabulary
- The original word encoded as one new token
- The unknown-token marker, such as [UNK]
- Al momento dell'inferenza, come fa WordPiece a scegliere come dividere una parola?
- Abbina avidamente la sottoparola più lunga del vocabolario, da sinistra a destra
- Sceglie prima i pezzi più corti possibili
- Prova ogni possibile divisione e ne calcola la media
- Utilizza una rete neurale per prevedere le divisioni
- A quale nota famiglia di modelli è maggiormente associato WordPiece?
- Modelli GPT
- BERT e suoi derivati
- Modelli LLaMA
- Stable Diffusion
- What kind of vocabulary did multilingual BERT use across its training languages?
- A completely separate vocabulary for every language
- A vocabulary made only of complete words
- One shared WordPiece vocabulary
- A list of byte sequences with no subwords
- Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
- GPT2Tokenizer
- RobertaTokenizer
- CLIPTokenizer
- BertTokenizer