Όρος Γλωσσάρι AI

Τι είναι Μηχανισμός Προσοχής;

Ορισμός

Ένα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

ΚωδικοποιητήςΤο συστατικό ενός μοντέλου που μετατρέπει την είσοδο σε λανθάνουσες αναπαραστάσεις.Προσοχή πολλαπλών κεφαλώνΈνας μηχανισμός μετασχηματιστή που εκτελεί πολλές λειτουργίες προσοχής παράλληλα για να καταγράψει διαφορετικούς τύπους σχέσεων.ΑλλοθιΜια μέθοδος μεροληψίας θέσης που τιμωρεί τις βαθμολογίες προσοχής με βάση την διακριτική απόσταση, βοηθώντας τα μοντέλα να επεκταθούν σε μεγαλύτερα περιβάλλοντα.ΤαξινόμησηΜια εργασία όπου ένα μοντέλο εκχωρεί μια είσοδο σε μία ή περισσότερες προκαθορισμένες κατηγορίες.Παράθυρο περιβάλλοντοςΟ μέγιστος αριθμός διακριτικών εισόδου που μπορεί να επεξεργαστεί ένα μοντέλο γλώσσας ταυτόχρονα.Μετακίνηση δεδομένωνΜια μετατόπιση στα δεδομένα εισόδου του πραγματικού κόσμου με την πάροδο του χρόνου που μπορεί να υποβαθμίσει την απόδοση του μοντέλου.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Δείτε επίσης

Artificial Intelligence (AI)Autonomous SystemAPI (Application Programming Interface)BackpropagationAnnotationBaseline ModelAlgorithmic TransparencyBenchmark