Όρος Γλωσσάρι AI

Τι είναι ALiBi?

Ορισμός

Μια μέθοδος μεροληψίας θέσης που τιμωρεί τις βαθμολογίες προσοχής με βάση την διακριτική απόσταση, βοηθώντας τα μοντέλα να επεκταθούν σε μεγαλύτερα περιβάλλοντα.

Σχετικοί όροι

RoPE (Rotary Positional Embeddings)
Μια μέθοδος κωδικοποίησης θέσης που περιστρέφει τα διανύσματα ερωτήματος και κλειδιών για να κωδικοποιήσει σχετικές θέσεις διακριτικών.
Κωδικοποίηση θέσης
Οι πληροφορίες προστέθηκαν στις ενσωματώσεις διακριτικών, ώστε οι μετασχηματιστές να μπορούν να διακρίνουν τη σειρά ακολουθίας.
Συρόμενο παράθυρο Προσοχή
Ένα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.
Αλγοριθμική προκατάληψη
Συστηματική αδικία στα αποτελέσματα των μοντέλων που προκαλείται από λοξά δεδομένα, υποθέσεις ή επιλογές μοντελοποίησης.
Μηχανισμός Προσοχής
Ένα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.
Μεροληψία
Ένα σταθερό μοτίβο σφάλματος ή αδικίας στα δεδομένα ή τη συμπεριφορά του μοντέλου.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

ALiBi Position Bias

Δείτε επίσης

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI