Gids-gekoppelde quiz · Middelmatig Niveau

Zinstuk-tokenisatiequiz

Bekijk SentencePiece's training voor onbewerkte tekst, omkeerbare spatiëring, woordenschatalgoritmen en byte-fallback voor meertalige tekstverwerking.

Gerelateerde gidspadenZinstuk-tokenisatie
Vraag 1 van 8

Op welke belangrijke veronderstelling vermijdt SentencePiece waar traditionele tokenizers op vertrouwen?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Op welke belangrijke veronderstelling vermijdt SentencePiece waar traditionele tokenizers op vertrouwen?
    • Dat woorden worden gescheiden door spaties
    • Die tekst is gecodeerd in UTF-8
    • Die zinnen eindigen met leestekens
    • Dat de woordenschat vooraf vastligt
  2. Waarom vervangt SentencePiece spaties door een zichtbaar metasymbool?
    • Om de tekst agressiever te comprimeren
    • Om tokenisatie volledig omkeerbaar te maken (verliesvrij)
    • Om alle leestekens automatisch te verwijderen
    • Om te vertalen tussen talen
  3. Welke twee algoritmen ondersteunt SentencePiece voornamelijk?
    • TF-IDF en Word2Vec
    • LSTM en CNN
    • BPE en het Unigram-taalmodel
    • K-betekent en PCA
  4. Hoe bouwt het Unigram-model zijn vocabulaire op?
    • Door leeg te beginnen en frequente karakterparen samen te voegen
    • Door een Engels woordenboek te kopiëren
    • Door gebruik te maken van een vaste lijst van 1.000 woorden
    • Door groot te beginnen en via EM de minst nuttige stukken te snoeien
  5. Welk model maakt op beroemde wijze gebruik van een SentencePiece-tokenizer?
    • T5
    • GPT-2
    • ELMo
    • Handschoen
  6. Welk voordeel biedt fallback op byteniveau SentencePiece?
    • Het zorgt ervoor dat het model sneller traint
    • Het garandeert dat elk personage kan worden weergegeven, waardoor fouten in de woordenschat worden vermeden
    • Het neemt de behoefte aan aandacht weg
    • Het verdubbelt automatisch de woordenschatgrootte
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation