Τι είναι Ποινή παρουσίας?

Μια ρύθμιση αποκωδικοποίησης που μειώνει την πιθανότητα των διακριτικών αναλογικά με τη συχνότητα εμφάνισης τους μέχρι τώρα.

Μια ρύθμιση αποκωδικοποίησης που μειώνει την πιθανότητα των διακριτικών που έχει ήδη δημιουργήσει το μοντέλο για τη μείωση των βρόχων.

Μια στρατηγική αποκωδικοποίησης που λαμβάνει δείγματα μόνο από τα k πιο πιθανά επόμενα διακριτικά.

Μια στρατηγική παραγωγής που περιορίζει τα διακριτικά εξόδου σε έγκυρες δομές ή επιλογές συμβατές με την πολιτική.

Μια μέθοδος επιτάχυνσης συμπερασμάτων όπου ένα μικρό πρόχειρο μοντέλο προτείνει διακριτικά που ένα μεγαλύτερο μοντέλο επαληθεύει παράλληλα.

Αποθηκευμένοι τανυστές κλειδιών και τιμών από προηγούμενα διακριτικά που επιτρέπουν στους μετασχηματιστές να δημιουργούν νέα διακριτικά χωρίς να υπολογίζουν εκ νέου την προσοχή του παρελθόντος.