Gids-gekoppelde quiz · Gemakkelijk Niveau
Tokenisatiequiz voor subwoorden
Test woordenschat-afwegingen, BERT WordPiece, vervolgmarkeringen, SentencePiece-witruimte, numerieke ID's, gedeelde stukken, Unigram-snoeiing en bibliotheken.
Vraag 1 van 8
Welke beperking van de woordenschat motiveert het representeren van zeldzame woordvormen door middel van kleinere herbruikbare stukken?
Bekijk elke vraag8 vragen
Antwoorden en uitleg verschijnen terwijl je de quiz doet.
- Welke beperking van de woordenschat motiveert het representeren van zeldzame woordvormen door middel van kleinere herbruikbare stukken?
- Elk kleiner stukje heeft noodzakelijkerwijs één unieke woordenboekbetekenis
- Een eindige woordenschat die alleen uit woorden bestaat, kan niet aan elke mogelijke woordvorm een vermelding toewijzen
- Een subwoordmodel vereist geen numerieke invoerrepresentatie
- Woordenschat van hele woorden kan geen gewoon woord bevatten
- Welke subwoord-tokenizer gebruikt de originele BERT?
- Een alfabetische index met uitsluitend woorden
- Een verplichte zoekopdracht van één byte per woord
- WordPiece
- Een beeldpixelsegmentatienetwerk
- Welk voorvoegsel markeert woord-interne voortzettingsstukken in de gepubliceerde WordPiece-conventie van BERT?
- ##
- Een vereiste trailing punt
- Een leidend plusteken op elk heel woord
- Hoofdlettergebruik van elk achtervoegsel
- Welke SentencePiece-invoerverwerkingseigenschap ondersteunt tekst zonder expliciete witruimte-woordgrenzen?
- Het vereist dat elk woord aan beide zijden spaties heeft
- Het vertaalt elke zin naar het Engels vóór segmentatie
- Het verwijdert alle niet-Latijnse tekens vóór de training
- Het kan trainen op basis van ruwe zinnen zonder taalspecifieke pre-tokenisatie van woorden
- Waar wordt elk subwoordfragment uiteindelijk op afgebeeld voordat het het model bereikt?
- Een kleur
- Een apart neuraal netwerk
- Een geheel getal-ID
- Een audiofragment
- Als verwante woordvormen een beschikbaar woordenschatdeel delen, wat kan dat delen dan ondersteunen?
- Een garantie dat elk token een correct taalkundig morfeem is
- Hergebruik van de afbeelding die bij dat stuk hoort
- Verwijdering van elk afwijkend achtervoegsel uit de oorspronkelijke invoer
- Een vereiste dat alle gerelateerde woorden dezelfde volledige ID-reeks krijgen
- Hoe verschilt de woordenschattraining van Unigram van de bottom-up-combinatie van BPE?
- Het vereist voor elk stuk een menselijke woordenboekdefinitie
- Het voegt alleen het meest voorkomende paar samen totdat het corpus één token is
- Het verwijdert permanent alle dekking op tekenniveau, ongeacht de configuratie
- Het begint met kandidaatstukken en snoeit deze volgens een doelstelling
- Waarom zou SentencePiece niet moeten worden behandeld als een andere naam voor het Unigram-algoritme?
- Het is een bibliotheek die zowel Unigram- als BPE-modellen ondersteunt
- Het is de naam van BERT's ## vervolgmarkering
- Het is een universele ID-naar-woord-tabel die door elk model wordt gedeeld
- Het implementeert alleen het splitsen van hele woorden op Engelse spaties