Όρος Γλωσσάρι AI

Τι είναι _sentencepiece;

Ορισμός

Ένας γλωσσικός-αγνωστικός tokenizer που μαθαίνει μονάδες υπολέξεων απευθείας από ακατέργαστο κείμενο χωρίς προκαταρκτικό διαχωρισμό σε κενό διάστημα.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

ΚΛΙΠΜια πολυτροπική αρχιτεκτονική μοντέλων που μαθαίνει κοινές αναπαραστάσεις μεταξύ κειμένου και εικόνων.Συνεχής ΜάθησηΠροσεγγίσεις εκπαίδευσης που επιτρέπουν σε ένα μοντέλο να συνεχίσει να μαθαίνει από νέα δεδομένα χωρίς να ξεχνά την προηγούμενη γνώση.Εκμάθηση εντός πλαισίουΗ ικανότητα ενός μοντέλου να ακολουθεί μοτίβα από παραδείγματα που παρέχονται απευθείας στην προτροπή.Ταξινόμηση προθέσεωνΠρόβλεψη του σκοπού του χρήστη από ένα ερώτημα κειμένου για τη σωστή δρομολόγηση του.Μεγάλο μοντέλο γλώσσας (LLM)Ένα μοντέλο γλώσσας εκπαιδευμένο σε τεράστια σώματα κειμένου για τη δημιουργία και ανάλυση κειμένου.ΕνδειξηΈνα κομμάτι κειμένου επεξεργασμένο από γλωσσικά μοντέλα, όπως ένα κομμάτι λέξης ή ένα σύμβολο.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

SentencePiece Tokenization

Δείτε επίσης

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search