Όρος Γλωσσάρι AI

Τι είναι Προσοχή πολλαπλών κεφαλών;

Ορισμός

Ένας μηχανισμός μετασχηματιστή που εκτελεί πολλές λειτουργίες προσοχής παράλληλα για να καταγράψει διαφορετικούς τύπους σχέσεων.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

ΜετασχηματιστήςΜια νευρωνική αρχιτεκτονική που χρησιμοποιεί την προσοχή για να μοντελοποιήσει τις σχέσεις μεταξύ των ακολουθιών παράλληλα.Ανάκτηση πολλαπλών ερωτημάτωνΜια τεχνική ανάκτησης που ξαναγράφει το ερώτημα χρήστη σε διάφορες παραλλαγές για να βελτιώσει την ανάκληση.Μηχανισμός ΠροσοχήςΈνα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.Flash ΠροσοχήΈνας βελτιστοποιημένος αλγόριθμος προσοχής που μειώνει τη χρήση της μνήμης και επιταχύνει την εκπαίδευση του μετασχηματιστή και τα συμπεράσματα.Πολυτροπικό μοντέλοΈνα μοντέλο που μπορεί να επεξεργαστεί ή να δημιουργήσει πολλούς τύπους δεδομένων όπως κείμενο, εικόνα και ήχος.Γράφημα ΓνώσηςΜια δομή γραφήματος οντοτήτων και σχέσεων που χρησιμοποιούνται για συλλογισμό ή ανάκτηση.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Multilingual LLMsMultimodal SearchHard Parameter Sharing in Multi-Task NetworksAttention Rollout and Head Pruning

Δείτε επίσης

Positional EncodingQLoRARoPE (Rotary Positional Embeddings)DPO (Direct Preference Optimization)ALiBiTree of ThoughtsSliding Window AttentionReAct