Μέγιστη οριακή συνάφεια
Η Μέγιστη Οριακή Συνάφεια (MMR) είναι μια μέθοδος ανακατάταξης που εξισορροπεί το πόσο σχετικό είναι ένα αποτέλεσμα με το πόσο διαφορετικό είναι από τα αποτελέσματα που έχουν ήδη επιλεγεί.
Επισκόπηση
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Βαθιά κατάδυση
Όταν ένα σύστημα αναζήτησης βαθμολογεί έγγραφα αποκλειστικά με βάση τη συνάφεια με ένα ερώτημα, τα κορυφαία αποτελέσματα είναι συχνά περιττά — πέντε αποσπάσματα λένε όλα το ίδιο πράγμα. Το MMR, που εισήχθη από τους Carbonell και Goldstein το 1998, το διορθώνει επιλέγοντας τα αποτελέσματα ένα κάθε φορά. Σε κάθε βήμα επιλέγει τον υποψήφιο που μεγιστοποιεί ένα σταθμισμένο μείγμα: λάμδα επί τη συνάφειά του με το ερώτημα, μείον (1 μείον λάμδα) επί τη μέγιστη ομοιότητα του με οτιδήποτε έχει ήδη επιλεγεί. Ένα λάμδα κοντά στο 1 ευνοεί την καθαρή συνάφεια. κοντά στο 0 ευνοεί τη διαφορετικότητα. Στη γενιά επαυξημένης ανάκτησης, το MMR είναι δημοφιλές για την ανάκτηση ποικίλου συνόλου τμημάτων, έτσι ώστε το γλωσσικό μοντέλο να βλέπει συμπληρωματικά στοιχεία αντί να επαναλαμβάνεται το ίδιο γεγονός, βελτιώνοντας την κάλυψη χωρίς να διευρύνει το πλαίσιο.
Τεχνική διορατικότητα
Ο MMR είναι ένας άπληστος, επαναληπτικός αλγόριθμος. Τόσο η συνάφεια όσο και η ομοιότητα μεταξύ των εγγράφων συνήθως υπολογίζονται ως ομοιότητα συνημιτόνου μεταξύ ενσωματωμένων διανυσμάτων. Ο τύπος βαθμολόγησης είναι: MMR = argmax σε σχέση με τα υπόλοιπα έγγραφα του [ λάμδα * sim(έγγραφο, ερώτημα) - (1 - λάμδα) * μέγ. sim(doc, επιλεγμένο) ]. Επειδή επαναξιολογείται σε σχέση με το αυξανόμενο επιλεγμένο σύνολο κάθε γύρο, εξαρτάται από τη σειρά και εκτελείται σε περίπου O(k*n) συγκρίσεις ομοιότητας για k επιλογές από n υποψηφίους.
Στρατηγικός αντίκτυπος
Ταχύτητα και κλίμακα
Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
Πρόσβαση και προσέγγιση χρηστών
Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
Σαφέστερες αποφάσεις
Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Το μέλλον της μέγιστης οριακής συνάφειας
Το MMR παραμένει μια ελαφριά προεπιλογή σε πελάτες διανυσματικών βάσεων δεδομένων όπως το LangChain και το Chroma, όπου προσφέρεται ως λειτουργία ανάκτησης μίας γραμμής. Τα μελλοντικά συστήματα το συνδυάζουν ολοένα και περισσότερο με στόχους μαθημένης ποικιλομορφίας, επιλογή βάσει συμπλέγματος και ανακατατάξεις πολλαπλών κωδικοποιητών που κρίνουν την καινοτομία πιο σημασιολογικά από την απόσταση συνημιτόνου. Καθώς τα παράθυρα περιβάλλοντος αυξάνονται, η έμφαση μετατοπίζεται από την εξοικονόμηση χώρου στην επιμέλεια γνήσιας συμπληρωματικών στοιχείων, διατηρώντας την επιλογή με επίγνωση της διαφορετικότητας, όπως το MMR, σχετική ακόμα και όταν η ακατέργαστη χωρητικότητα είναι άφθονη.
Υλοποίηση σε πραγματικό κόσμο
Ένα chatbot RAG χρησιμοποιεί ανάκτηση MMR, επομένως τα κορυφαία 5 κομμάτια του καλύπτουν διαφορετικές πτυχές μιας πολιτικής αντί για πέντε παραφράσεις της ίδιας παραγράφου.
Ένα εργαλείο περίληψης έρευνας εφαρμόζει το MMR για να επιλέξει αποσπάσματα που ελαχιστοποιούν την επικάλυψη, δημιουργώντας μια ευρύτερη, λιγότερο επαναλαμβανόμενη περίληψη.
Ένας συναθροιστής ειδήσεων ταξινομεί άρθρα με MMR για να δείξει ποικίλη κάλυψη ενός γεγονότος αντί δέκα ειδήσεων που επαναλαμβάνουν μια ενημερωτική ιστορία.
Το vector store retriever του LangChain εκθέτει το search_type='mmr' με fetch_k και lambda_mult για να διαφοροποιήσει τα επιστρεφόμενα έγγραφα.
Κίνδυνοι & προστατευτικά κιγκλιδώματα
Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Οδικός Χάρτης Εφαρμογής
Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Maximum Marginal Relevance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Επόμενος οδηγός
Μη Μέγιστη Καταστολή
Συχνές ερωτήσεις
What is Maximum Marginal Relevance?
Η Μέγιστη Οριακή Συνάφεια (MMR) είναι μια μέθοδος ανακατάταξης που εξισορροπεί το πόσο σχετικό είναι ένα αποτέλεσμα με το πόσο διαφορετικό είναι από τα αποτελέσματα που έχουν ήδη επιλεγεί. Έχει σημασία γιατί η καθαρή κατάταξη συνάφειας συχνά επιστρέφει σχεδόν διπλά αποσπάσματα που σπαταλούν χώρο σε ένα παράθυρο περιβάλλοντος RAG.
Ποιο είναι το κύριο πρόβλημα που έχει σχεδιαστεί για να λύσει το MMR;
Το MMR αντιμετωπίζει την τάση της κατάταξης μόνο για συνάφεια να εμφανίζει πολλά αποτελέσματα που λένε ουσιαστικά το ίδιο πράγμα, επιβραβεύοντας την καινοτομία.
Στον τύπο MMR, τι τονίζει μια τιμή λάμδα κοντά στο 1;
Συνάφεια βαρών λάμδα. κοντά στο 1 κυριαρχεί ο όρος συνάφειας, ενώ κοντά στο 0 κυριαρχεί ο όρος ποικιλομορφία (χαμηλή ομοιότητα).
Πώς επιλέγει το MMR τα αποτελέσματά του;
Το MMR είναι μια άπληστη επαναληπτική μέθοδος: κάθε επιλογή μεγιστοποιεί τη συνάφεια μείον τη μέγιστη ομοιότητα με τα αντικείμενα που έχουν ήδη επιλεγεί.
Ποιο μέτρο ομοιότητας χρησιμοποιείται πιο συχνά στο MMR για ενσωματώσεις κειμένου;
Η ομοιότητα συνημιτόνου μεταξύ των διανυσμάτων ενσωμάτωσης είναι η τυπική επιλογή τόσο για τη συνάφεια ερωτήματος όσο και για τη σύγκριση μεταξύ εγγράφων στο MMR.
Γιατί είναι ιδιαίτερα χρήσιμο το MMR στην επαυξημένη παραγωγή ανάκτησης (RAG);
Διαφοροποιώντας τα ανακτημένα κομμάτια, το MMR βοηθά το μοντέλο να δει ποικίλα στοιχεία αντί να επαναλαμβάνεται το ίδιο γεγονός, βελτιώνοντας την κάλυψη.