Gids-gekoppelde quiz · Gemakkelijk Niveau

Tokenisatiequiz voor subwoorden

Test woordenschat-afwegingen, BERT WordPiece, vervolgmarkeringen, SentencePiece-witruimte, numerieke ID's, gedeelde stukken, Unigram-snoeiing en bibliotheken.

Gerelateerde gidspadenTokenisatie van subwoorden
Vraag 1 van 8

Welke beperking van de woordenschat motiveert het representeren van zeldzame woordvormen door middel van kleinere herbruikbare stukken?

Bekijk elke vraag8 vragen

Antwoorden en uitleg verschijnen terwijl je de quiz doet.

  1. Welke beperking van de woordenschat motiveert het representeren van zeldzame woordvormen door middel van kleinere herbruikbare stukken?
    • Elk kleiner stukje heeft noodzakelijkerwijs één unieke woordenboekbetekenis
    • Een eindige woordenschat die alleen uit woorden bestaat, kan niet aan elke mogelijke woordvorm een vermelding toewijzen
    • Een subwoordmodel vereist geen numerieke invoerrepresentatie
    • Woordenschat van hele woorden kan geen gewoon woord bevatten
  2. Welke subwoord-tokenizer gebruikt de originele BERT?
    • Een alfabetische index met uitsluitend woorden
    • Een verplichte zoekopdracht van één byte per woord
    • WordPiece
    • Een beeldpixelsegmentatienetwerk
  3. Welk voorvoegsel markeert woord-interne voortzettingsstukken in de gepubliceerde WordPiece-conventie van BERT?
    • ##
    • Een vereiste trailing punt
    • Een leidend plusteken op elk heel woord
    • Hoofdlettergebruik van elk achtervoegsel
  4. Welke SentencePiece-invoerverwerkingseigenschap ondersteunt tekst zonder expliciete witruimte-woordgrenzen?
    • Het vereist dat elk woord aan beide zijden spaties heeft
    • Het vertaalt elke zin naar het Engels vóór segmentatie
    • Het verwijdert alle niet-Latijnse tekens vóór de training
    • Het kan trainen op basis van ruwe zinnen zonder taalspecifieke pre-tokenisatie van woorden
  5. Waar wordt elk subwoordfragment uiteindelijk op afgebeeld voordat het het model bereikt?
    • Een kleur
    • Een apart neuraal netwerk
    • Een geheel getal-ID
    • Een audiofragment
  6. Als verwante woordvormen een beschikbaar woordenschatdeel delen, wat kan dat delen dan ondersteunen?
    • Een garantie dat elk token een correct taalkundig morfeem is
    • Hergebruik van de afbeelding die bij dat stuk hoort
    • Verwijdering van elk afwijkend achtervoegsel uit de oorspronkelijke invoer
    • Een vereiste dat alle gerelateerde woorden dezelfde volledige ID-reeks krijgen
  7. Hoe verschilt de woordenschattraining van Unigram van de bottom-up-combinatie van BPE?
    • Het vereist voor elk stuk een menselijke woordenboekdefinitie
    • Het voegt alleen het meest voorkomende paar samen totdat het corpus één token is
    • Het verwijdert permanent alle dekking op tekenniveau, ongeacht de configuratie
    • Het begint met kandidaatstukken en snoeit deze volgens een doelstelling
  8. Waarom zou SentencePiece niet moeten worden behandeld als een andere naam voor het Unigram-algoritme?
    • Het is een bibliotheek die zowel Unigram- als BPE-modellen ondersteunt
    • Het is de naam van BERT's ## vervolgmarkering
    • Het is een universele ID-naar-woord-tabel die door elk model wordt gedeeld
    • Het implementeert alleen het splitsen van hele woorden op Engelse spaties