Όρος Γλωσσάρι AI

Τι είναι Καθυστέρηση;

Ορισμός

Ο χρόνος μεταξύ της αποστολής ενός αιτήματος και της λήψης της εξόδου του μοντέλου.

Περιηγηθείτε στο πλήρες Γλωσσάρι AIΕξερευνήστε όλους τους δωρεάν οδηγούς AI

Σχετικοί όροι

Μηχανισμός ΠροσοχήςΈνα στοιχείο μοντέλου που εστιάζει δυναμικά σε σχετικά μέρη μιας εισόδου κατά την παραγωγή ενός προϊόντος.Αυτόνομο ΣύστημαΈνα σύστημα που μπορεί να λαμβάνει αποφάσεις και να ενεργεί με περιορισμένο ή καθόλου άμεσο ανθρώπινο έλεγχο σε πραγματικό χρόνο.ΚΛΙΠΜια πολυτροπική αρχιτεκτονική μοντέλων που μαθαίνει κοινές αναπαραστάσεις μεταξύ κειμένου και εικόνων.Μετακίνηση δεδομένωνΜια μετατόπιση στα δεδομένα εισόδου του πραγματικού κόσμου με την πάροδο του χρόνου που μπορεί να υποβαθμίσει την απόδοση του μοντέλου.Υπολογισμός Συμπερασματικού ΧρόνουΗ ποσότητα της επεξεργαστικής ισχύος που καταναλώνεται κατά την παραγωγή κάθε απόκρισης.Αποκοπή γνώσηςΤο τελευταίο χρονικό σημείο που αντικατοπτρίζεται στα δεδομένα εκπαίδευσης ενός μοντέλου.

Μάθετε περισσότερα στους δωρεάν οδηγούς μας

Tail Latency in Model ServingReducing LLM App LatencyTime to First Token and Latency Metrics

Δείτε επίσης

Label SmoothingLarge Language Model (LLM)Knowledge GraphLearning RateKnowledge DistillationLoRA (Low-Rank Adaptation)Loss FunctionJailbreak