What is RoPE (Rotary Positional Embeddings)? Definition | AI Understanding

Ορισμός

Μια μέθοδος κωδικοποίησης θέσης που περιστρέφει τα διανύσματα ερωτήματος και κλειδιών για να κωδικοποιήσει σχετικές θέσεις διακριτικών.

Σχετικοί όροι

Κωδικοποίηση θέσης

Οι πληροφορίες προστέθηκαν στις ενσωματώσεις διακριτικών, ώστε οι μετασχηματιστές να μπορούν να διακρίνουν τη σειρά ακολουθίας.

Μια μέθοδος μεροληψίας θέσης που τιμωρεί τις βαθμολογίες προσοχής με βάση την διακριτική απόσταση, βοηθώντας τα μοντέλα να επεκταθούν σε μεγαλύτερα περιβάλλοντα.

Μια μέθοδος ανάκτησης που δημιουργεί πολλαπλές παραλλαγές ερωτημάτων, ανακτά αποτελέσματα για καθεμία και συγχωνεύει τις ταξινομήσεις.

ANN (Κοντινότερος κατά προσέγγιση γείτονας)

Αλγόριθμοι που βρίσκουν διανύσματα κοντά σε ένα ερώτημα χωρίς εξαντλητική σύγκριση, ανταλλάσσοντας την ακρίβεια με την ταχύτητα.

RAG (Retrieval-Augmented Generation)

Μια μέθοδος που ανακτά την εξωτερική γνώση και την τροφοδοτεί σε παραγωγή κατά το χρόνο συμπερασμάτων.

Ενισχυτική μάθηση από την ανθρώπινη ανατροφοδότηση (RLHF)

Μια μέθοδος εκπαίδευσης που χρησιμοποιεί σήματα ανθρώπινης προτίμησης για να διαμορφώσει τη συμπεριφορά του μοντέλου.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Audio Embeddings and Representation Learning Sentence-BERT Embeddings X-Vector Speaker Embeddings HyDE Hypothetical Document Embeddings

Δείτε επίσης

Multi-Head Attention Sliding Window Attention Flash Attention BPE (Byte Pair Encoding)QLoRA SentencePiece DPO (Direct Preference Optimization)Tree of Thoughts

Περιηγηθείτε στο πλήρες Γλωσσάρι AI Εξερευνήστε όλους τους δωρεάν οδηγούς AI