Όρος Γλωσσάρι AI

Τι είναι Συρόμενο παράθυρο Προσοχή;

Ορισμός

Ένα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

ΚλάδεμαΑφαίρεση λιγότερο σημαντικών βαρών μοντέλων ή νευρώνων για μείωση του μεγέθους και υπολογισμού.Χρέωση βάσει χρήσηςΤιμολόγηση όπου το κόστος κλιμακώνεται με κλήσεις API, διακριτικά, χρόνο συμπερασμάτων ή υπολογισμό που καταναλώνεται.Νόμος κλιμάκωσηςΜια εμπειρική σχέση που δείχνει πώς η απόδοση βελτιώνεται με το μέγεθος του μοντέλου, τα δεδομένα ή τον υπολογισμό.Αραιό μοντέλοΈνα μοντέλο όπου πολλές παράμετροι είναι μηδενικές ή ανενεργές για μείωση του υπολογισμού.κερδοσκοπική αποκωδικοποίησηΜια μέθοδος επιτάχυνσης συμπερασμάτων όπου ένα μικρό πρόχειρο μοντέλο προτείνει διακριτικά που ένα μεγαλύτερο μοντέλο επαληθεύει παράλληλα.Παράθυρο περιβάλλοντοςΟ μέγιστος αριθμός διακριτικών εισόδου που μπορεί να επεξεργαστεί ένα μοντέλο γλώσσας ταυτόχρονα.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Δείτε επίσης

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW