Όρος Γλωσσάρι AI

Τι είναι Tokenization (Τεμαχισμός σε tokens);

Ορισμός

Η διαδικασία διαχωρισμού κειμένου σε διακριτικά για εισαγωγή μοντέλου.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

Παράθυρο περιβάλλοντοςΟ μέγιστος αριθμός διακριτικών εισόδου που μπορεί να επεξεργαστεί ένα μοντέλο γλώσσας ταυτόχρονα.BPE (Κωδικοποίηση ζεύγους byte)Ένας αλγόριθμος δημιουργίας διακριτικών υπολέξεων που συγχωνεύει τα πιο συχνά ζεύγη χαρακτήρων σε επαναχρησιμοποιήσιμα διακριτικά.ΚωδικοποιητήςΤο συστατικό ενός μοντέλου που μετατρέπει την είσοδο σε λανθάνουσες αναπαραστάσεις.Πολυτροπικό μοντέλοΈνα μοντέλο που μπορεί να επεξεργαστεί ή να δημιουργήσει πολλούς τύπους δεδομένων όπως κείμενο, εικόνα και ήχος.OCR (οπτική αναγνώριση χαρακτήρων)Τεχνολογία που μετατρέπει κείμενο σε εικόνες ή σαρώνει σε κείμενο αναγνώσιμο από μηχανή._sentencepieceΈνας γλωσσικός-αγνωστικός tokenizer που μαθαίνει μονάδες υπολέξεων απευθείας από ακατέργαστο κείμενο χωρίς προκαταρκτικό διαχωρισμό σε κενό διάστημα.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

SentencePiece TokenizationWordPiece TokenizationTokenizationSubword Tokenization

Δείτε επίσης

TokenTool UseTemperatureTop-k SamplingSystem PromptTop-p (Nucleus) SamplingSynthetic DataTransfer Learning