Όρος Γλωσσάρι AI

Τι είναι KV Cache?

Ορισμός

Αποθηκευμένοι τανυστές κλειδιών και τιμών από προηγούμενα διακριτικά που επιτρέπουν στους μετασχηματιστές να δημιουργούν νέα διακριτικά χωρίς να υπολογίζουν εκ νέου την προσοχή του παρελθόντος.

Σχετικοί όροι

Συνεχής Μάθηση
Προσεγγίσεις εκπαίδευσης που επιτρέπουν σε ένα μοντέλο να συνεχίσει να μαθαίνει από νέα δεδομένα χωρίς να ξεχνά την προηγούμενη γνώση.
Top-k Δειγματοληψία
Μια στρατηγική αποκωδικοποίησης που λαμβάνει δείγματα μόνο από τα k πιο πιθανά επόμενα διακριτικά.
Μάθηση χωρίς επίβλεψη
Εκμάθηση μοτίβων από δεδομένα χωρίς ετικέτα χωρίς ρητές εξόδους στόχων.
Συρόμενο παράθυρο Προσοχή
Ένα μοτίβο προσοχής όπου κάθε διακριτικό παρακολουθεί μόνο ένα παράθυρο σταθερού μεγέθους κοντινών κουπονιών για μείωση του υπολογισμού.
SentencePiece
Ένας γλωσσικός-αγνωστικός tokenizer που μαθαίνει μονάδες υπολέξεων απευθείας από ακατέργαστο κείμενο χωρίς προκαταρκτικό διαχωρισμό σε κενό διάστημα.
Ποινή παρουσίας
Μια ρύθμιση αποκωδικοποίησης που μειώνει την πιθανότητα εμφάνισης διακριτικών, ενθαρρύνοντας νέα θέματα.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

KV CacheKV Cache Optimization

Δείτε επίσης

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts
Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI