Όρος Γλωσσάρι AI

Τι είναι Flash Προσοχή;

Ορισμός

Ένας βελτιστοποιημένος αλγόριθμος προσοχής που μειώνει τη χρήση της μνήμης και επιταχύνει την εκπαίδευση του μετασχηματιστή και τα συμπεράσματα.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

Κατάστημα χαρακτηριστικώνΈνα διαχειριζόμενο σύστημα για την αποθήκευση και την εξυπηρέτηση επικυρωμένων χαρακτηριστικών ML με συνέπεια για εκπαίδευση και εξαγωγή συμπερασμάτων.Ο πίσω πολλαπλασιασμόςΟ βασικός αλγόριθμος εκπαίδευσης που ενημερώνει τα βάρη των μοντέλων διαδίδοντας τα σφάλματα πρόβλεψης προς τα πίσω μέσω του δικτύου.Κβαντοποίηση μοντέλουΜείωση της αριθμητικής ακρίβειας των βαρών του μοντέλου για μείωση του κόστους μνήμης και συμπερασμάτων.ΜετασχηματιστήςΜια νευρωνική αρχιτεκτονική που χρησιμοποιεί την προσοχή για να μοντελοποιήσει τις σχέσεις μεταξύ των ακολουθιών παράλληλα.Απώλεια προπόνησηςΗ τιμή σφάλματος μοντέλου υπολογίστηκε κατά τη διάρκεια της εκπαίδευσης και βελτιστοποιήθηκε προς τα κάτω με την πάροδο του χρόνου.Προσοχή πολλαπλών κεφαλώνΈνας μηχανισμός μετασχηματιστή που εκτελεί πολλές λειτουργίες προσοχής παράλληλα για να καταγράψει διαφορετικούς τύπους σχέσεων.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Δείτε επίσης

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop