Κουίζ που συνδέεται με οδηγό · Σκληρό Επίπεδο

PagedAttention και vLLM Quiz

Test PagedAttention KV blocks, λογική-φυσική αντιστοίχιση και κοινή χρήση, συμπεριλαμβανομένης της διάκρισης μεταξύ εξοικονόμησης μνήμης cache και συνολικής αποθήκευσης μοντέλου.

Σχετικές διαδρομές οδηγώνPagedattention And Vllm
Ερώτηση 1 του 8

Τι αποθηκεύει η «κρυφή μνήμη KV» κατά τη δημιουργία κειμένου;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Τι αποθηκεύει η «κρυφή μνήμη KV» κατά τη δημιουργία κειμένου;
    • Τα δεδομένα εκπαίδευσης του μοντέλου
    • Τα διαπιστευτήρια σύνδεσης του χρήστη
    • Τα διανύσματα κλειδιού και αξίας για προηγούμενα διακριτικά, ώστε τα νέα διακριτικά να μπορούν να τα παρακολουθήσουν
    • Ένα συμπιεσμένο αντίγραφο των βαρών του μοντέλου
  2. Ποια ιδέα λειτουργικού συστήματος ενέπνευσε το PagedAttention;
    • Εργαλεία ανασυγκρότησης δίσκου
    • Εικονική σελιδοποίηση μνήμης
    • Συμπίεση αρχείων
    • Πρόβλεψη κλάδου CPU
  3. Ποιο πρόβλημα με την παραδοσιακή εκχώρηση κρυφής μνήμης KV επιλύει το PagedAttention;
    • Αργή συνδέσεις στο Διαδίκτυο
    • Έλλειψη δεδομένων εκπαίδευσης
    • Αδύναμη ασφάλεια κωδικού πρόσβασης
    • Σπατάλη μνήμης από την κράτηση μεγάλων συνεχόμενων μπλοκ για κάθε αίτημα
  4. Πώς το PagedAttention επιτρέπει σε πολλαπλές εξόδους να μοιράζονται μνήμη για μια κοινή προτροπή;
    • Διαφορετικές ακολουθίες οδηγούν στις ίδιες φυσικές σελίδες μέσω αντιγραφής σε εγγραφή
    • Διαγράφει το μήνυμα μετά την πρώτη χρήση
    • Αποθηκεύει το μήνυμα στο δίσκο
    • Επανεκπαιδεύει το μοντέλο για κάθε έξοδο
  5. Πού αναπτύχθηκε αρχικά το vLLM και το PagedAttention;
    • Ένα ακαδημαϊκό εργαστήριο της δεκαετίας του 1990
    • UC Berkeley (δημοσίευση 2023)
    • Ομάδα μάρκετινγκ πωλητή υλικού
    • Ένα ανώνυμο διαδικτυακό φόρουμ
  6. Ποιο είναι το κύριο πρακτικό όφελος του vLLM για κάποιον που υπηρετεί ένα LLM;
    • Μεγαλύτερη ακρίβεια μοντέλου σε σημεία αναφοράς
    • Αυτόματη επισήμανση δεδομένων
    • Δωρεάν υλικό GPU
    • Υψηλότερη απόδοση και περισσότερες ταυτόχρονες αιτήσεις ανά GPU
  7. A sequence’s logical KV block 3 resides in a different physical location. What tells PagedAttention where to read it?
    • The sequence’s block table mapping logical blocks to physical blocks
    • The model’s class-label list
    • The learning-rate scheduler
    • A requirement that every block follow block 2 contiguously
  8. A PagedAttention cache ends with a half-filled block. Which statement about memory waste is accurate?
    • Paging guarantees every allocated byte contains a token
    • The entire model must be copied for each unused slot
    • Unused slots can remain in that final block despite reduced allocation fragmentation
    • The block table cannot represent a partial sequence