Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ SentencePiece Tokenization

Εξετάστε την εκπαίδευση ακατέργαστου κειμένου του SentencePiece, τα αναστρέψιμα κενά, τους αλγόριθμους λεξιλογίου και τα εναλλακτικά byte για πολυγλωσσική επεξεργασία κειμένου.

Σχετικές διαδρομές οδηγώνTokenization της πρότασης
Ερώτηση 1 του 8

Ποια βασική υπόθεση αποφεύγει το SentencePiece στην οποία βασίζονται τα παραδοσιακά tokenizers;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Ποια βασική υπόθεση αποφεύγει το SentencePiece στην οποία βασίζονται τα παραδοσιακά tokenizers;
    • Ότι οι λέξεις χωρίζονται με κενά
    • Αυτό το κείμενο είναι κωδικοποιημένο σε UTF-8
    • Ότι οι προτάσεις τελειώνουν με σημεία στίξης
    • Ότι το λεξιλόγιο είναι προκαθορισμένο
  2. Γιατί το SentencePiece αντικαθιστά τα κενά με ένα ορατό μετα σύμβολο;
    • Για να συμπιέσετε το κείμενο πιο επιθετικά
    • Για να καταστεί η tokenization πλήρως αναστρέψιμη (χωρίς απώλειες)
    • Για αυτόματη κατάργηση όλων των σημείων στίξης
    • Για μετάφραση μεταξύ γλωσσών
  3. Ποιους δύο αλγόριθμους υποστηρίζει κυρίως το SentencePiece;
    • TF-IDF και Word2Vec
    • LSTM και CNN
    • BPE και το μοντέλο γλώσσας Unigram
    • K-means και PCA
  4. Πώς χτίζει το λεξιλόγιό του το μοντέλο Unigram;
    • Ξεκινώντας το κενό και συγχωνεύοντας συχνά ζεύγη χαρακτήρων
    • Αντιγράφοντας ένα αγγλικό λεξικό
    • Χρησιμοποιώντας μια σταθερή λίστα 1.000 λέξεων
    • Ξεκινώντας μεγάλα και κλαδεύοντας τα λιγότερο χρήσιμα κομμάτια μέσω EM
  5. Ποιο μοντέλο χρησιμοποιεί περίφημα ένα SentencePiece tokenizer;
    • Τ5
    • GPT-2
    • ELMo
    • Γάντι
  6. Ποιο πλεονέκτημα προσφέρει η εναλλακτική λύση σε επίπεδο byte στο SentencePiece;
    • Κάνει το μοντέλο να εκπαιδεύεται πιο γρήγορα
    • Εγγυάται ότι μπορεί να αναπαρασταθεί οποιοσδήποτε χαρακτήρας, αποφεύγοντας αστοχίες εκτός λεξιλογίου
    • Αφαιρεί την ανάγκη για προσοχή
    • Διπλασιάζει αυτόματα το μέγεθος του λεξιλογίου
  7. What kind of input can SentencePiece use to train a subword model directly?
    • Only text already converted to English word tokens
    • Only a fixed dictionary of complete words
    • Raw sentences, without first splitting them into word sequences
    • Only character-frequency tables with no sentence data
  8. Why is a language-independent tokenizer useful for multilingual text?
    • It translates every input into one language before tokenizing
    • It assigns the same meaning to every token in every language
    • It removes the need for a model vocabulary
    • The same tokenizer pipeline can process scripts without requiring language-specific word segmentation