Όρος Γλωσσάρι AI

Τι είναι BPE (Κωδικοποίηση ζεύγους byte);

Ορισμός

Ένας αλγόριθμος δημιουργίας διακριτικών υπολέξεων που συγχωνεύει τα πιο συχνά ζεύγη χαρακτήρων σε επαναχρησιμοποιήσιμα διακριτικά.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

Tokenization (Τεμαχισμός σε tokens)Η διαδικασία διαχωρισμού κειμένου σε διακριτικά για εισαγωγή μοντέλου.OCR (οπτική αναγνώριση χαρακτήρων)Τεχνολογία που μετατρέπει κείμενο σε εικόνες ή σαρώνει σε κείμενο αναγνώσιμο από μηχανή.Top-k ΔειγματοληψίαΜια στρατηγική αποκωδικοποίησης που λαμβάνει δείγματα μόνο από τα k πιο πιθανά επόμενα διακριτικά.Ο πίσω πολλαπλασιασμόςΟ βασικός αλγόριθμος εκπαίδευσης που ενημερώνει τα βάρη των μοντέλων διαδίδοντας τα σφάλματα πρόβλεψης προς τα πίσω μέσω του δικτύου.Bi-Encoder (Διπλός κωδικοποιητής)Ένα μοντέλο που κωδικοποιεί ερωτήματα και έγγραφα σε ξεχωριστά διανύσματα, ώστε να μπορούν να συγκριθούν γρήγορα σε κλίμακα.Αναζήτηση δέσμηςΈνας αλγόριθμος αποκωδικοποίησης που διατηρεί τις κορυφαίες πολλές υποψήφιες ακολουθίες σε κάθε βήμα για την εύρεση εξόδων υψηλότερης πιθανότητας.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

ByteDance DoubaoCycleGAN Unpaired TranslationTokenizer-Free Byte-Level ModelsInstant-NGP Hash Encoding

Δείτε επίσης

Sliding Window AttentionSentencePieceALiBiANN (Approximate Nearest Neighbor)RoPE (Rotary Positional Embeddings)HNSWPositional EncodingReranker