Quiz collegato alla guida · Medio Livello
Quiz sulla tokenizzazione di pezzi di frasi
Esamina l'addestramento del testo non elaborato, la spaziatura reversibile, gli algoritmi del vocabolario e il fallback di byte di SentencePiece per l'elaborazione del testo multilingue.
Domanda 1 di 8
Quale presupposto chiave evita SentencePiece su cui fanno affidamento i tokenizzatori tradizionali?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Quale presupposto chiave evita SentencePiece su cui fanno affidamento i tokenizzatori tradizionali?
- Le parole sono separate da spazi
- Quel testo è codificato in UTF-8
- Le frasi terminano con la punteggiatura
- Che il vocabolario sia fissato in anticipo
- Perché SentencePiece sostituisce gli spazi con un meta simbolo visibile?
- Per comprimere il testo in modo più aggressivo
- Per rendere la tokenizzazione completamente reversibile (senza perdite)
- Per rimuovere automaticamente tutta la punteggiatura
- Tradurre tra le lingue
- Quali due algoritmi supporta principalmente SentencePiece?
- TF-IDF e Word2Vec
- LSTM e CNN
- BPE e il modello linguistico Unigram
- K-medie e PCA
- Come costruisce il suo vocabolario il modello Unigram?
- Iniziando vuoto e unendo coppie di caratteri frequenti
- Copiando un dizionario inglese
- Utilizzando un elenco fisso di 1.000 parole
- Iniziando in grande e potando i pezzi meno utili tramite EM
- Quale modello utilizza notoriamente un tokenizer SentencePiece?
- T5
- GPT-2
- ELMo
- GUANTO
- Quale vantaggio offre il fallback a livello di byte a SentencePiece?
- Rende il modello più veloce
- Garantisce che qualsiasi personaggio possa essere rappresentato, evitando fallimenti fuori dal vocabolario
- Elimina la necessità di attenzione
- Raddoppia automaticamente la dimensione del vocabolario
- What kind of input can SentencePiece use to train a subword model directly?
- Only text already converted to English word tokens
- Only a fixed dictionary of complete words
- Raw sentences, without first splitting them into word sequences
- Only character-frequency tables with no sentence data
- Why is a language-independent tokenizer useful for multilingual text?
- It translates every input into one language before tokenizing
- It assigns the same meaning to every token in every language
- It removes the need for a model vocabulary
- The same tokenizer pipeline can process scripts without requiring language-specific word segmentation