Όρος Γλωσσάρι AI

Τι είναι Αλλοθι;

Ορισμός

Μια μέθοδος μεροληψίας θέσης που τιμωρεί τις βαθμολογίες προσοχής με βάση την διακριτική απόσταση, βοηθώντας τα μοντέλα να επεκταθούν σε μεγαλύτερα περιβάλλοντα.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

RoPE (Rotary Positional Embeddings) (Περιστροφικές θέσεις ενσωμάτωσης)Μια μέθοδος κωδικοποίησης θέσης που περιστρέφει τα διανύσματα ερωτήματος και κλειδιών για να κωδικοποιήσει σχετικές θέσεις διακριτικών.Κωδικοποίηση θέσηςΟι πληροφορίες προστέθηκαν στις ενσωματώσεις διακριτικών, ώστε οι μετασχηματιστές να μπορούν να διακρίνουν τη σειρά ακολουθίας.Συρόμενο παράθυρο ΠροσοχήΈνα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.Αλγοριθμική προκατάληψηΣυστηματική αδικία στα αποτελέσματα των μοντέλων που προκαλείται από λοξά δεδομένα, υποθέσεις ή επιλογές μοντελοποίησης.Μηχανισμός ΠροσοχήςΈνα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.ΜεροληψίαΈνα σταθερό μοτίβο σφάλματος ή αδικίας στα δεδομένα ή τη συμπεριφορά του μοντέλου.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

ALiBi Position Bias

Δείτε επίσης

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)