Gids-gekoppelde quiz · Middelmatig Niveau
Zinstuk-tokenisatiequiz
Bekijk SentencePiece's training voor onbewerkte tekst, omkeerbare spatiëring, woordenschatalgoritmen en byte-fallback voor meertalige tekstverwerking.
Vraag 1 van 8
Op welke belangrijke veronderstelling vermijdt SentencePiece waar traditionele tokenizers op vertrouwen?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Op welke belangrijke veronderstelling vermijdt SentencePiece waar traditionele tokenizers op vertrouwen?
- Dat woorden worden gescheiden door spaties
- Die tekst is gecodeerd in UTF-8
- Die zinnen eindigen met leestekens
- Dat de woordenschat vooraf vastligt
- Waarom vervangt SentencePiece spaties door een zichtbaar metasymbool?
- Om de tekst agressiever te comprimeren
- Om tokenisatie volledig omkeerbaar te maken (verliesvrij)
- Om alle leestekens automatisch te verwijderen
- Om te vertalen tussen talen
- Welke twee algoritmen ondersteunt SentencePiece voornamelijk?
- TF-IDF en Word2Vec
- LSTM en CNN
- BPE en het Unigram-taalmodel
- K-betekent en PCA
- Hoe bouwt het Unigram-model zijn vocabulaire op?
- Door leeg te beginnen en frequente karakterparen samen te voegen
- Door een Engels woordenboek te kopiëren
- Door gebruik te maken van een vaste lijst van 1.000 woorden
- Door groot te beginnen en via EM de minst nuttige stukken te snoeien
- Welk model maakt op beroemde wijze gebruik van een SentencePiece-tokenizer?
- T5
- GPT-2
- ELMo
- Handschoen
- Welk voordeel biedt fallback op byteniveau SentencePiece?
- Het zorgt ervoor dat het model sneller traint
- Het garandeert dat elk personage kan worden weergegeven, waardoor fouten in de woordenschat worden vermeden
- Het neemt de behoefte aan aandacht weg
- Het verdubbelt automatisch de woordenschatgrootte
- What kind of input can SentencePiece use to train a subword model directly?
- Only text already converted to English word tokens
- Only a fixed dictionary of complete words
- Raw sentences, without first splitting them into word sequences
- Only character-frequency tables with no sentence data
- Why is a language-independent tokenizer useful for multilingual text?
- It translates every input into one language before tokenizing
- It assigns the same meaning to every token in every language
- It removes the need for a model vocabulary
- The same tokenizer pipeline can process scripts without requiring language-specific word segmentation