Quiz collegato alla guida · Medio Livello

Quiz sulla tokenizzazione di pezzi di frasi

Esamina l'addestramento del testo non elaborato, la spaziatura reversibile, gli algoritmi del vocabolario e il fallback di byte di SentencePiece per l'elaborazione del testo multilingue.

Percorsi guida correlatiTokenizzazione della frase
Domanda 1 di 8

Quale presupposto chiave evita SentencePiece su cui fanno affidamento i tokenizzatori tradizionali?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Quale presupposto chiave evita SentencePiece su cui fanno affidamento i tokenizzatori tradizionali?
    • Le parole sono separate da spazi
    • Quel testo è codificato in UTF-8
    • Le frasi terminano con la punteggiatura
    • Che il vocabolario sia fissato in anticipo
  2. Perché SentencePiece sostituisce gli spazi con un meta simbolo visibile?
    • Per comprimere il testo in modo più aggressivo
    • Per rendere la tokenizzazione completamente reversibile (senza perdite)
    • Per rimuovere automaticamente tutta la punteggiatura
    • Tradurre tra le lingue
  3. Quali due algoritmi supporta principalmente SentencePiece?
    • TF-IDF e Word2Vec
    • LSTM e CNN
    • BPE e il modello linguistico Unigram
    • K-medie e PCA
  4. Come costruisce il suo vocabolario il modello Unigram?
    • Iniziando vuoto e unendo coppie di caratteri frequenti
    • Copiando un dizionario inglese
    • Utilizzando un elenco fisso di 1.000 parole
    • Iniziando in grande e potando i pezzi meno utili tramite EM
  5. Quale modello utilizza notoriamente un tokenizer SentencePiece?
    • T5
    • GPT-2
    • ELMo
    • GUANTO
  6. Quale vantaggio offre il fallback a livello di byte a SentencePiece?
    • Rende il modello più veloce
    • Garantisce che qualsiasi personaggio possa essere rappresentato, evitando fallimenti fuori dal vocabolario
    • Elimina la necessità di attenzione
    • Raddoppia automaticamente la dimensione del vocabolario
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation