Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ κωδικοποίησης Byte-Pair

Ελέγξτε τις συγχωνεύσεις BPE, τα σύμβολα εκκίνησης, την κάλυψη byte, την προέλευση συμπίεσης, την κωδικοποίηση κατάταξης, τα κομμάτια σπάνιων λέξεων, την αριθμητική λεξιλογίου και την αποκωδικοποίηση UTF-8.

Σχετικές διαδρομές οδηγώνΚωδικοποίηση ζεύγους byte
Ερώτηση 1 του 8

Which adjacent-symbol operation is repeated in common BPE vocabulary training?

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Which adjacent-symbol operation is repeated in common BPE vocabulary training?
    • Deleting all low-frequency words from the language
    • Merging a most-frequent pair into a larger symbol
    • Sorting complete documents by title
    • Selecting pairs solely by their alphabetical spelling
  2. Πώς αντιμετωπίζει το BPE το κείμενο όταν ξεκινά την προπόνηση;
    • Ολόκληρες προτάσεις
    • Διορθώθηκαν μπλοκ 8 σημείων
    • Μεμονωμένοι χαρακτήρες ή byte
    • Προμεταφρασμένες φράσεις
  3. In a byte-level BPE configuration covering all 256 base byte values, how can unfamiliar valid UTF-8 text be represented?
    • Through its constituent bytes when larger pieces are unavailable
    • By storing every possible complete word in the finite vocabulary
    • By requiring the input to be translated into English first
    • By assigning every unseen character one shared unknown ID
  4. Από πού προήλθε αρχικά ο αλγόριθμος BPE πριν τον υιοθετήσει το NLP;
    • Συμπίεση εικόνας
    • Κωδικοποίηση ήχου
    • Ευρετηρίαση βάσεων δεδομένων
    • Συμπίεση δεδομένων
  5. When GPT-2's published BPE encoder finds multiple eligible adjacent pairs, what determines its merge choice?
    • A new random vocabulary fit on that one input
    • The text file's creation date
    • The priorities in the learned merge ranks
    • The order of a human-written list of target meanings
  6. What can happen when an unfamiliar word lacks larger learned BPE pieces?
    • It must be replaced by an unrelated synonym
    • It remains represented by several smaller available pieces
    • It necessarily becomes one new learned token during inference
    • It is always silently removed from the input
  7. An illustrative BPE vocabulary has 256 base byte tokens, two distinct added merge tokens, and one separate special token. What is its total size?
    • 256
    • 258
    • 512
    • 259
  8. In GPT-2's published decoder, what is reconstructed before converting the result from UTF-8 into text?
    • The complete byte sequence represented by the token pieces
    • An independent Unicode character from every individual token first
    • A new corpus-frequency table for training merges
    • The model's output-label probabilities