Κουίζ κωδικοποίησης Tokenization και Byte Pair

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Τι παράγει το tokenization για να διαβάσει ένα γλωσσικό μοντέλο;
   • Tokens, τα οποία είναι ακέραια αναγνωριστικά που αντιστοιχίζονται σε κομμάτια κειμένου
   • Ακατέργαστες κυματομορφές ήχου
   • Πλέγματα pixel
   • Μεταγλωττισμένος κώδικας μηχανής
2. Πώς δημιουργεί το λεξιλόγιό του το Byte Pair Encoding;
   • Εκχωρώντας ένα διακριτικό ανά ολόκληρη λέξη σε ένα λεξικό
   • Με επανειλημμένη συγχώνευση του πιο συχνού διπλανού ζεύγους συμβόλων
   • Με τυχαία ομαδοποίηση χαρακτήρων
   • Μεταφράζοντας πρώτα κείμενο σε άλλη γλώσσα
3. Ποιο πρόβλημα λύνουν οι μέθοδοι υπολέξεων όπως το BPE σε σύγκριση με το tokenization σε επίπεδο λέξης;
   • Φτιάχνουν κάθε πρόταση ακριβώς ένα διακριτικό
   • Εξαλείφουν την ανάγκη για οποιοδήποτε λεξιλόγιο
   • Χειρίζονται σπάνιες ή αόρατες λέξεις χωρίζοντάς τες σε επαναχρησιμοποιήσιμα θραύσματα
   • Λειτουργούν μόνο για αγγλικά
4. Ποιο είναι το πλεονέκτημα του BPE σε επίπεδο byte, όπως χρησιμοποιείται στα μοντέλα GPT;
   • Χρησιμοποιεί λιγότερα διακριτικά από οποιαδήποτε άλλη μέθοδο για όλες τις γλώσσες
   • Καταργεί την ανάγκη εκπαίδευσης του μοντέλου
   • Κωδικοποιεί μόνο αγγλικά γράμματα
   • Μπορεί να αντιπροσωπεύει οποιοδήποτε κείμενο Unicode, συμπεριλαμβανομένων των emoji και οποιασδήποτε γλώσσας, χωρίς αστοχίες εκτός λεξιλογίου
5. Γιατί ο αριθμός συμβολικών ενός μοντέλου συχνά διαφέρει από τον αριθμό των λέξεων σε μια πρόταση;
   • Τα κενά, η χρήση κεφαλαίων και οι σπάνιες λέξεις αλλάζουν τον τρόπο με τον οποίο χωρίζεται το κείμενο και μια λέξη μπορεί να γίνει πολλά διακριτικά
   • Τα διακριτικά μετρώνται σε μια τυχαία γλώσσα
   • Κάθε λέξη είναι πάντα ακριβώς δύο μάρκες
   • Οι μετρήσεις των διακριτικών εξαρτώνται μόνο από τα σημεία στίξης
6. Από ποιο πεδίο δανείστηκε αρχικά ο αλγόριθμος κωδικοποίησης ζεύγους Byte;
   • Απόδοση εικόνας
   • Συμπίεση δεδομένων
   • Ευρετηρίαση βάσεων δεδομένων
   • Κρυπτογραφία
7. After BPE training creates its vocabulary, what does an encoder use to tokenize new text?
   • A new merge ranking learned separately for each sentence
   • A dictionary of whole words only
   • The learned vocabulary and ordered merge rules applied to the input symbols
   • A translation table that changes the text language
8. Why can byte-level BPE encode a character it never saw as a whole token during training?
   • The tokenizer invents new model parameters for each character
   • It drops every unseen character
   • The model automatically translates it to English first
   • The UTF-8 input can be represented as a sequence of bytes from a finite base alphabet