Κουίζ που συνδέεται με οδηγό · Μεσαίο Επίπεδο

Κουίζ Προσοχής Ομαδοποιημένου Ερωτήματος

Εξετάστε τον τρόπο με τον οποίο η προσοχή ομαδοποιημένων ερωτημάτων μοιράζεται τις κεφαλές κλειδιών/τιμών, μειώνει το κόστος της κρυφής μνήμης χρόνου δημιουργίας και μπορεί να ληφθεί από υπάρχοντα σημεία ελέγχου.

Σχετικές διαδρομές οδηγώνΟμαδοποιημένο ερώτημα Προσοχή
Ερώτηση 1 του 8

Στο Grouped-Query Attention, τι είναι κοινόχρηστο μεταξύ μιας ομάδας κεφαλών ερωτημάτων;

Προεπισκόπηση κάθε ερώτησης8 ερωτήσεις

Οι απαντήσεις και οι εξηγήσεις εμφανίζονται καθώς κάνετε το κουίζ.

  1. Στο Grouped-Query Attention, τι είναι κοινόχρηστο μεταξύ μιας ομάδας κεφαλών ερωτημάτων;
    • Οι κεφαλές κλειδιού και αξίας
    • Μόνο η προβολή εξόδου
    • Οι ενσωματώσεις εισόδου
    • Το ποσοστό μάθησης
  2. Το GQA περιγράφεται καλύτερα ως η μέση λύση ανάμεσα σε ποια δύο άκρα;
    • Συνέλιξη και προσοχή
    • Πλήρης προσοχή πολλαπλών κεφαλών και προσοχή πολλαπλών ερωτημάτων
    • Ακρίβεια FP32 και FP8
    • Μοντέλα μόνο για κωδικοποιητή και μόνο για αποκωδικοποιητή
  3. Ποιο μέρος της εξαγωγής συμπερασμάτων κάνει κατά κύριο λόγο φθηνότερο το GQA;
    • Tokenization της προτροπής
    • Υπολογισμός απώλειας προπόνησης
    • Η κρυφή μνήμη KV και το εύρος ζώνης της κατά τη διάρκεια της παραγωγής
    • Το τελικό softmax πάνω από το λεξιλόγιο
  4. Εάν ένα μοντέλο έχει 32 κεφαλές ερωτημάτων και ομάδες 8 KV, η κρυφή μνήμη KV μειώνεται κατά περίπου ποιον παράγοντα;
    • Περίπου 32x
    • Περίπου 2x
    • Καμία μείωση
    • Περίπου 4x
  5. What quality/speed tradeoff did the GQA paper report in its experiments?
    • Quality close to MHA with inference speed closer to MQA
    • Lower quality and slower inference than both
    • Exactly the same latency and quality for every model
    • A result only on image classification
  6. Πώς μετατρέπονται συχνά τα υπάρχοντα μοντέλα πολλαπλών κεφαλών σε GQA;
    • Διαγράφοντας όλα τα επίπεδα προσοχής
    • Με ένα σύντομο βήμα «εκπαίδευσης» από το υπάρχον σημείο ελέγχου
    • Με εναλλαγή σε διαφορετικό tokenizer
    • Δεν μπορούν να μετατραπούν καθόλου
  7. Which task families did the GQA paper evaluate?
    • Image segmentation and object detection
    • Speech synthesis and speaker verification
    • Language modeling and machine translation
    • Molecular generation and toxicity prediction
  8. How much of the original pretraining compute did the GQA paper report using for its uptraining recipe?
    • Περίπου 50%
    • Περίπου 100%
    • No additional training compute
    • Περίπου 5%