Ερώτηση προσωρινής αποθήκευσης
Η άμεση προσωρινή αποθήκευση επιτρέπει σε ένα μοντέλο AI να επαναχρησιμοποιήσει την υπολογιστική εργασία που έκανε σε ένα επαναλαμβανόμενο κομμάτι κειμένου αντί να το επεξεργάζεται ξανά κάθε φορά.
Επισκόπηση
It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.
Βαθιά κατάδυση
Όταν ένα μοντέλο γλώσσας διαβάζει μια προτροπή, μετατρέπει κάθε διακριτικό σε εσωτερικές αριθμητικές καταστάσεις που ονομάζονται διανύσματα κλειδιού-τιμής (KV) μέσω των επιπέδων προσοχής του. Κανονικά αυτό συμβαίνει καινούριο σε κάθε αίτημα, ακόμα κι αν το 90% της προτροπής είναι πανομοιότυπο. Το Prompt caching αποθηκεύει αυτές τις προυπολογισμένες καταστάσεις KV για ένα επισημασμένο πρόθεμα, επομένως ένα μεταγενέστερο αίτημα που ξεκινά με το ίδιο κείμενο μπορεί να μεταβεί κατευθείαν στο νέο τμήμα. Πάροχοι όπως Anthropic και OpenAI το εκθέτουν αυτό επιτρέποντάς σας να επισημάνετε ένα σταθερό πρόθεμα. Οι επισκέψεις στην προσωρινή μνήμη χρεώνονται με μεγάλη έκπτωση (συχνά 90% έκπτωση στο κόστος εισόδου) και ανταποκρίνονται πιο γρήγορα. Είναι ιδανικό για chatbots με προτροπές σταθερού συστήματος, αγωγούς RAG που επαναχρησιμοποιούν τα ίδια έγγραφα ή πράκτορες που επαναλαμβάνουν μεγάλα ιστορικά.
Τεχνική διορατικότητα
Η προσωρινή αποθήκευση λειτουργεί επειδή η προσοχή του μετασχηματιστή είναι αιτιολογική: κάθε διακριτικό φροντίζει μόνο τα διακριτικά πριν από αυτό. Έτσι, οι καταστάσεις KV για ένα πρόθεμα δεν αλλάζουν ποτέ όταν προσθέτετε νέα διακριτικά στη συνέχεια. Η κρυφή μνήμη πληκτρολογείται σε μια ακριβή αντιστοίχιση διακριτικού αυτού του προθέματος, γι' αυτό ακόμη και μια επεξεργασία ενός χαρακτήρα στην αρχή της προτροπής ακυρώνει τα πάντα κατάντη. Οι κρυφές μνήμες είναι βραχύβιες (λεπτά), αποθηκεύονται ανά πάροχο και το μπλοκ με δυνατότητα προσωρινής αποθήκευσης συνήθως πρέπει να υπερβαίνει έναν ελάχιστο αριθμό διακριτικών.
Στρατηγικός αντίκτυπος
Κόστος και προϋπολογισμός
Οι αποφάσεις για την αρχιτεκτονική καθορίζουν την απόδοση και το λειτουργικό κόστος για χρόνια.
Σαφέστερες αποφάσεις
Η τεχνική εκπαίδευση βοηθά τις ομάδες να επιλέξουν τη σωστή στοίβα, όχι μόνο τη νεότερη.
Ελεγχος ποιότητας
Οι καλύτερες επιλογές μηχανικής μειώνουν τα περιστατικά αξιοπιστίας στην παραγωγή.
Το μέλλον της άμεσης προσωρινής αποθήκευσης
Αναμένετε ότι η προσωρινή αποθήκευση θα γίνει αυτόματη και μεγαλύτερη διάρκεια ζωής, με τους παρόχους να εντοπίζουν επαναχρησιμοποιήσιμες εκτάσεις αντί να απαιτούν χειροκίνητους δείκτες. Η ιεραρχική και η μερική αποθήκευση στην κρυφή μνήμη θα μπορούσε να επιτρέψει τις αλλαγές στη μέση μιας προτροπής να επαναχρησιμοποιήσουν αμετάβλητα τμήματα και στις δύο πλευρές. Καθώς οι πράκτορες ταχυδακτυλουργούν τεράστια περιβάλλοντα και ιστορικά εργαλείων, οι κοινόχρηστες κρυφές μνήμες μεταξύ συνεδριών και μεταξύ χρηστών για κοινές προτροπές συστήματος θα είναι το κλειδί για να καταστούν οικονομικά βιώσιμα τα περιβάλλοντα εκατομμυρίων διακριτικών και τα μοντέλα στη συσκευή θα υιοθετήσουν παρόμοια επαναχρησιμοποίηση KV για γρήγορη τοπική εξαγωγή συμπερασμάτων.
Υλοποίηση σε πραγματικό κόσμο
Ένα chatbot υποστήριξης πελατών αποθηκεύει στην κρυφή μνήμη την πολιτική 5.000 κουπονιών και την προτροπή συστήματος ήχου, έτσι ώστε κάθε μήνυμα χρήστη να πληρώνει μόνο το πλήρες τίμημα για τη νέα ερώτηση.
Μια εφαρμογή επαυξημένης ανάκτησης (RAG) αποθηκεύει στην κρυφή μνήμη ένα μεγάλο έγγραφο αναφοράς μία φορά και, στη συνέχεια, απαντά σε πολλές ερωτήσεις σχετικά με αυτό με ένα κλάσμα του κόστους.
Ένας βοηθός κωδικοποίησης αποθηκεύει προσωρινά τα περιεχόμενα μιας μεγάλης βάσης κώδικα ή αρχείου ως σταθερό πρόθεμα, ενώ ο προγραμματιστής κάνει διαδοχικές επακόλουθες ερωτήσεις.
Ένας πράκτορας AI αποθηκεύει προσωρινά τη μακρά, αυξανόμενη μεταγραφή χρήσης εργαλείων του, έτσι ώστε κάθε νέο βήμα να μην χρεώνει εκ νέου ολόκληρη την προηγούμενη συνομιλία.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Η βελτιστοποίηση ενός σημείου αναφοράς μπορεί να κρύψει ευρύτερες αδυναμίες του συστήματος.
Το κόστος υποδομής και συντήρησης συχνά υποτιμάται.
Τα κενά ασφάλειας και παρατηρητικότητας μπορούν να αυξηθούν καθώς τα συστήματα γίνονται πιο πολύπλοκα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τους στόχους καθυστέρησης, ποιότητας και κόστους πριν από την εφαρμογή.
Σημείο αναφοράς υπό ρεαλιστικές συνθήκες φορτίου και δεδομένων.
Παρακολούθηση οργάνου για σφάλματα, μετατόπιση και επιπτώσεις από τον χρήστη.
Προετοιμάστε διαδρομές επαναφοράς και απόκρισης συμβάντος πριν την κλιμάκωση.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Caching quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
AI Prompt Security
Συχνές ερωτήσεις
What is Prompt Caching?
Η άμεση προσωρινή αποθήκευση επιτρέπει σε ένα μοντέλο AI να επαναχρησιμοποιήσει την υπολογιστική εργασία που έκανε σε ένα επαναλαμβανόμενο κομμάτι κειμένου αντί να το επεξεργάζεται ξανά κάθε φορά. Μειώνει δραματικά το κόστος και την καθυστέρηση όταν οι ίδιες μεγάλες οδηγίες, έγγραφα ή παραδείγματα εμφανίζονται κατόπιν αιτήματος.
Τι αποθηκεύει και επαναχρησιμοποιεί η προσωρινή αποθήκευση προτροπής;
Η προσωρινή αποθήκευση αποθηκεύει τις καταστάσεις προσοχής KV που υπολογίζονται για ένα σταθερό πρόθεμα, ώστε να μην χρειάζεται να υπολογίζονται εκ νέου σε κάθε αίτημα.
Γιατί πρέπει ένα αποθηκευμένο πρόθεμα να ταιριάζει ακριβώς με το διακριτικό για το διακριτικό;
Δεδομένου ότι κάθε διακριτικό παρακολουθεί μόνο προηγούμενα διακριτικά, η αλλαγή ενός πρώιμου διακριτικού ακυρώνει κάθε κατάσταση που εξαρτάται από αυτό, σπάζοντας την κρυφή μνήμη.
Ποιο σενάριο ωφελεί ΠΕΡΙΣΣΟΤΕΡΑ από την άμεση προσωρινή αποθήκευση;
Η προσωρινή αποθήκευση αποδίδει όταν ένα μεγάλο, πανομοιότυπο κομμάτι επαναχρησιμοποιείται σε πολλά αιτήματα, όπως μια προτροπή σταθερού συστήματος ή ένα κοινόχρηστο έγγραφο.
Πόσο φθηνότερα είναι περίπου οι επισκέψεις στην κρυφή μνήμη σε διακριτικά εισόδου με μεγάλους παρόχους;
Οι πάροχοι συνήθως τιμολογούν εισόδους στην κρυφή μνήμη με περίπου 90% έκπτωση από το κανονικό ποσοστό εισόδου, ο κύριος λόγος που η αποθήκευση στην κρυφή μνήμη εξοικονομεί χρήματα.
Πού πρέπει να τοποθετηθεί το επαναχρησιμοποιήσιμο περιεχόμενο για να μεγιστοποιηθούν οι επισκέψεις στην κρυφή μνήμη;
Η τοποθέτηση του σταθερού περιεχομένου πρώτα ως πρόθεμα και του μεταβαλλόμενου περιεχομένου στη συνέχεια επιτρέπει στο προσωρινά αποθηκευμένο πρόθεμα να επαναχρησιμοποιηθεί ενώ υποβάλλονται σε επεξεργασία μόνο νέα διακριτικά.