Όρος Γλωσσάρι AI

Τι είναι SentencePiece?

Ορισμός

Ένας γλωσσικός-αγνωστικός tokenizer που μαθαίνει μονάδες υπολέξεων απευθείας από ακατέργαστο κείμενο χωρίς προκαταρκτικό διαχωρισμό σε κενό διάστημα.

Σχετικοί όροι

ΚΛΙΠ
Μια πολυτροπική αρχιτεκτονική μοντέλων που μαθαίνει κοινές αναπαραστάσεις μεταξύ κειμένου και εικόνων.
Συνεχής Μάθηση
Προσεγγίσεις εκπαίδευσης που επιτρέπουν σε ένα μοντέλο να συνεχίσει να μαθαίνει από νέα δεδομένα χωρίς να ξεχνά την προηγούμενη γνώση.
Εκμάθηση εντός πλαισίου
Η ικανότητα ενός μοντέλου να ακολουθεί μοτίβα από παραδείγματα που παρέχονται απευθείας στην προτροπή.
Ταξινόμηση προθέσεων
Πρόβλεψη του σκοπού του χρήστη από ένα ερώτημα κειμένου για τη σωστή δρομολόγηση του.
Μεγάλο μοντέλο γλώσσας (LLM)
Ένα μοντέλο γλώσσας εκπαιδευμένο σε τεράστια σώματα κειμένου για τη δημιουργία και ανάλυση κειμένου.
Token
Ένα κομμάτι κειμένου επεξεργασμένο από γλωσσικά μοντέλα, όπως ένα κομμάτι λέξης ή ένα σύμβολο.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

SentencePiece Tokenization

Δείτε επίσης

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI