Quiz collegato alla guida · Medio Livello
Quiz sulla tokenizzazione
Testa le unità di token, la suddivisione delle sottoparole, il conteggio dei caratteri, la codifica esatta, i budget dei token, la segmentazione dipendente dalla lingua, la compatibilità degli ID e il riempimento.
Domanda 1 di 8
Come dovrebbe essere distinto un token del modello linguistico da una parola o da un carattere visibile?
Anteprima di ogni domanda8 domande
Le risposte e le spiegazioni vengono visualizzate mentre rispondi al quiz.
- Come dovrebbe essere distinto un token del modello linguistico da una parola o da un carattere visibile?
- Deve sempre corrispondere a una parola inglese completa
- È un'unità definita dal tokenizzatore che può estendersi su una parola, una sottoparola, un carattere o un pezzo derivato da byte
- Deve sempre corrispondere a un carattere Unicode visibile
- È necessariamente una password di accesso API
- Quale famiglia include la tokenizzazione BPE, WordPiece e Unigram?
- Solo vocabolari di frasi intere
- Solo codifiche fisse dei pixel dell'immagine
- Metodi di tokenizzazione delle sottoparole
- Solo ordinamento alfabetico delle parole
- Perché il conteggio dei token può differire dal numero di caratteri visibili nello stesso testo?
- Un token può contenere diversi caratteri o frammenti derivati da byte
- Ogni tokenizzatore cancella le vocali prima della codifica
- Ogni personaggio deve corrispondere esattamente a dieci ID
- La tokenizzazione sostituisce sempre le parole con le immagini
- Come si dovrebbe ottenere il conteggio esatto dei token di input per un modello di linguaggio e una configurazione di codifica specificati?
- Moltiplicare ogni parola contata per un numero universale fisso
- Conta solo i periodi di fine frase
- Supponiamo che ogni parola inglese sia esattamente un token
- Codifica con il tokenizzatore corrispondente e conta gli ID risultanti
- Per un'interfaccia che misura la capacità del contesto e l'utilizzo nei token, perché è importante il conteggio specifico del tokenizzatore?
- Garantisce che tutte le interfacce utilizzino prezzi identici
- Dimostra che ogni input ha lo stesso numero di parole
- Determina il modo in cui viene conteggiato l'input in base ai limiti o alle regole di utilizzo basati su token
- Cambia solo il carattere visualizzato
- Perché il testo comparabile può essere segmentato in un numero diverso di pezzi in diversi vocabolari del tokenizzatore?
- Ogni lingua ha necessariamente lo stesso vocabolario appreso
- I pezzi disponibili e le prelavorazioni possono differire
- Ogni tokenizzatore deve utilizzare un ID per ogni frase
- Cambiare lingua lascia sempre invariata ogni segmentazione
- Perché un ID intero identico in due vocabolari del tokenizzatore non stabilisce la compatibilità dell'input del modello?
- Tutti i vocabolari condividono una tabella ID-pezzo fissa a livello globale
- Gli ID stessi codificano una definizione del dizionario universale
- Un vocabolario contiene solo conteggi di token e nessuna mappatura
- Le due mappature possono assegnare quel numero a pezzi diversi
- In che modo il riempimento differisce dal troncamento durante la preparazione delle sequenze di token?
- L'imbottitura aggiunge posizioni di riempimento; il troncamento rimuove le posizioni sotto una regola di lunghezza
- Il riempimento rimuove la sequenza più lunga; il troncamento aggiunge riempitivo
- Entrambe le operazioni selezionano necessariamente le parole più informative
- Entrambi cambiano solo il vocabolario degli ID numerici senza modificare la lunghezza della sequenza