Test legat de ghid · Mediu Nivel

Testul de tokenizare WordPiece

Examinați vocabularul WordPiece și regulile de segmentare lacomă, inclusiv rolul său în BERT multilingv și contrastul său cu BPE.

Căi de ghidare aferenteTokenizarea piesei de cuvânt
Întrebare 1 de 8

Ce indică prefixul „##” în ieșirea WordPiece?

Previzualizează fiecare întrebare8 întrebări

Răspunsurile și explicațiile apar pe măsură ce susțineți testul.

  1. Ce indică prefixul „##” în ieșirea WordPiece?
    • Jetonul este o bucată de continuare în interiorul unui cuvânt, nu inițial cuvânt
    • Jetonul este un separator special ca [SEP]
    • Jetonul are cea mai mare frecvență din vocabular
    • Jetonul este un marcator necunoscut în afara vocabularului
  2. Cât de mare este vocabularul WordPiece folosit de BERT original?
    • Aproximativ 256 de jetoane
    • Aproximativ 30.000 de jetoane
    • Aproximativ 1 milion de jetoane
    • Aproximativ 500 de jetoane
  3. Cum diferă criteriul de îmbinare al WordPiece de codificarea standard de perechi de octeți?
    • Îmbină cea mai rară pereche pentru a reduce vocabularul
    • Nu îmbină niciodată și folosește doar caractere
    • Se îmbină prin maximizarea probabilității datelor de antrenament, mai degrabă decât frecvența brută
    • Îmbină perechile la întâmplare în timpul antrenamentului
  4. What does a BERT-style WordPiece tokenizer return if it cannot segment a word into vocabulary pieces?
    • It always falls back to individual Unicode characters
    • A random subword selected from the vocabulary
    • The original word encoded as one new token
    • The unknown-token marker, such as [UNK]
  5. La momentul deducerii, cum alege WordPiece cum să împartă un cuvânt?
    • Se potrivește cu cel mai lung subcuvânt din vocabular cu lăcomie, de la stânga la dreapta
    • Alege mai întâi cele mai scurte piese posibile
    • Încearcă toate diviziunile posibile și le face o medie
    • Utilizează o rețea neuronală pentru a prezice diviziunile
  6. Cu ce familie de modele binecunoscute este cel mai asociat WordPiece?
    • Modele GPT
    • BERT și derivatele sale
    • Modele LLaMA
    • Stable Diffusion
  7. What kind of vocabulary did multilingual BERT use across its training languages?
    • A completely separate vocabulary for every language
    • A vocabulary made only of complete words
    • One shared WordPiece vocabulary
    • A list of byte sequences with no subwords
  8. Which tokenizer class in Hugging Face Transformers constructs a BERT tokenizer that uses WordPiece?
    • GPT2Tokenizer
    • RobertaTokenizer
    • CLIPTokenizer
    • BertTokenizer