Quiz collegato alla guida · Medio Livello

Quiz sulla tokenizzazione

Testa le unità di token, la suddivisione delle sottoparole, il conteggio dei caratteri, la codifica esatta, i budget dei token, la segmentazione dipendente dalla lingua, la compatibilità degli ID e il riempimento.

Percorsi guida correlatiTokenizzazione
Domanda 1 di 8

Come dovrebbe essere distinto un token del modello linguistico da una parola o da un carattere visibile?

Anteprima di ogni domanda8 domande

Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.

  1. Come dovrebbe essere distinto un token del modello linguistico da una parola o da un carattere visibile?
    • Deve sempre corrispondere a una parola inglese completa
    • È un'unità definita dal tokenizzatore che può estendersi su una parola, una sottoparola, un carattere o un pezzo derivato da byte
    • Deve sempre corrispondere a un carattere Unicode visibile
    • È necessariamente una password di accesso API
  2. Quale famiglia include la tokenizzazione BPE, WordPiece e Unigram?
    • Solo vocabolari di frasi intere
    • Solo codifiche fisse dei pixel dell'immagine
    • Metodi di tokenizzazione delle sottoparole
    • Solo ordinamento alfabetico delle parole
  3. Perché il conteggio dei token può differire dal numero di caratteri visibili nello stesso testo?
    • Un token può contenere diversi caratteri o frammenti derivati da byte
    • Ogni tokenizzatore cancella le vocali prima della codifica
    • Ogni personaggio deve corrispondere esattamente a dieci ID
    • La tokenizzazione sostituisce sempre le parole con le immagini
  4. Come si dovrebbe ottenere il conteggio esatto dei token di input per un modello di linguaggio e una configurazione di codifica specificati?
    • Moltiplicare ogni parola contata per un numero universale fisso
    • Conta solo i periodi di fine frase
    • Supponiamo che ogni parola inglese sia esattamente un token
    • Codifica con il tokenizzatore corrispondente e conta gli ID risultanti
  5. Per un'interfaccia che misura la capacità del contesto e l'utilizzo nei token, perché è importante il conteggio specifico del tokenizzatore?
    • Garantisce che tutte le interfacce utilizzino prezzi identici
    • Dimostra che ogni input ha lo stesso numero di parole
    • Determina il modo in cui viene conteggiato l'input in base ai limiti o alle regole di utilizzo basati su token
    • Cambia solo il carattere visualizzato
  6. Perché il testo comparabile può essere segmentato in un numero diverso di pezzi in diversi vocabolari del tokenizzatore?
    • Ogni lingua ha necessariamente lo stesso vocabolario appreso
    • I pezzi disponibili e le prelavorazioni possono differire
    • Ogni tokenizzatore deve utilizzare un ID per ogni frase
    • Cambiare lingua lascia sempre invariata ogni segmentazione
  7. Perché un ID intero identico in due vocabolari del tokenizzatore non stabilisce la compatibilità dell'input del modello?
    • Tutti i vocabolari condividono una tabella ID-pezzo fissa a livello globale
    • Gli ID stessi codificano una definizione del dizionario universale
    • Un vocabolario contiene solo conteggi di token e nessuna mappatura
    • Le due mappature possono assegnare quel numero a pezzi diversi
  8. In che modo il riempimento differisce dal troncamento durante la preparazione delle sequenze di token?
    • L'imbottitura aggiunge posizioni di riempimento; il troncamento rimuove le posizioni sotto una regola di lunghezza
    • Il riempimento rimuove la sequenza più lunga; il troncamento aggiunge riempitivo
    • Entrambe le operazioni selezionano necessariamente le parole più informative
    • Entrambi cambiano solo il vocabolario degli ID numerici senza modificare la lunghezza della sequenza