Κουίζ LLM Inference Routing and Load Balancing

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

1. Γιατί το απλό στρογγυλό παιχνίδι είναι συχνά μια κακή στρατηγική εξισορρόπησης φορτίου για συμπέρασμα LLM;
   • Τα αιτήματα διαφέρουν πολύ ως προς το κόστος και τα αντίγραφα διατηρούν κολλώδεις κρυφές μνήμες KV
   • Είναι παράνομο στις περισσότερες χώρες
   • Το Round-robin λειτουργεί μόνο για βάσεις δεδομένων
   • Απαιτεί μια GPU για να τρέξει
2. Τι προσπαθεί να επιτύχει η δρομολόγηση «συνάφεια προθέματος-κρυφής μνήμης»;
   • Αποστολή κάθε αιτήματος σε μια τυχαία GPU
   • Δρομολόγηση ενός αιτήματος στο αντίγραφο που έχει ήδη αποθηκευτεί προσωρινά το πρόθεμά του
   • Κρυπτογράφηση του μηνύματος πριν από την αποστολή
   • Συμπίεση των βαρών του μοντέλου
3. Στη δρομολόγηση μοντέλων βάσει δυσκολίας, τι συμβαίνει συνήθως σε ένα εύκολο ερώτημα;
   • Απορρίπτεται
   • Αποστέλλεται στο μεγαλύτερο διαθέσιμο μοντέλο
   • Αποστέλλεται σε ένα μικρό, φθηνότερο μοντέλο
   • Είναι σε ουρά για 24 ώρες
4. Ποιο ζωντανό σήμα είναι πιο χρήσιμο για έναν εξισορροπητή φορτίου με γνώση LLM;
   • Το μήκος του ονόματος κεντρικού υπολογιστή του διακομιστή
   • Το χρώμα του ράφι
   • Μόνο η ζώνη ώρας του χρήστη
   • Βάθος ουράς και κατοχή κρυφής μνήμης KV για κάθε αντίγραφο
5. Τι παρέχει ένα εργαλείο όπως το LiteLLM σε μια εγκατάσταση πολλών παρόχων;
   • Ένας μεμονωμένος διακομιστής που εξισορροπεί και αποτυγχάνει σε πολλούς παρόχους μοντέλων
   • Μια νέα αρχιτεκτονική μετασχηματιστή
   • Ένα σύστημα ψύξης GPU
   • Αντικατάσταση του tokenizer
6. Γιατί μπορεί ένα αίτημα μακράς εξόδου να υπερτερεί πολλών σύντομων αιτημάτων για εξισορρόπηση;
   • Οι μεγάλες έξοδοι δεν χρησιμοποιούν πόρους
   • Κάθε διακριτικό εξόδου κοστίζει ένα πλήρες πάσο προς τα εμπρός, επομένως το συνολικό φορτίο διακριτικού έχει μεγαλύτερη σημασία από τον αριθμό αιτημάτων
   • Τα σύντομα αιτήματα είναι πάντα πιο αργά
   • Ο δρομολογητής δεν μπορεί να δει καθόλου το μήκος εξόδου
7. A serving system reports goodput rather than raw request count. What does goodput usually emphasize?
   • Ο συνολικός αριθμός παραμέτρων του μοντέλου
   • Only the number of HTTP connections opened
   • Requests served while meeting the specified latency or service-level targets
   • The fraction of requests that use the largest model
8. A gateway first chooses a small or large model, then chooses a replica of that model. What are these two decisions?
   • Tokenization followed by decoding
   • Training followed by fine-tuning
   • Prefill followed by prompt construction
   • Model routing followed by replica load balancing