ΕπόμενοΕπόμενος οδηγός
Ανάκτηση καθυστερημένης αλληλεπίδρασης ColBERT
Γλώσσα AI
ΟΔΗΓΟΣ ΓΛΩΣΣΑΣ AI
BM25 και Lexical Retrieval
Το BM25 είναι η κλασική συνάρτηση κατάταξης βάσει λέξεων-κλειδιών που βαθμολογεί τα έγγραφα με βάση τη συχνότητα εμφάνισης των όρων ερωτήματος, προσαρμοσμένη για τη σπανιότητα των όρων και τη διάρκεια του εγγράφου.
Ακούστε αυτόν τον οδηγόαφήγηση με AI · ~2 min
Σε αυτήν τη σελίδα2 λεπτά ανάγνωση
Επισκόπηση
Δεκαετίες παλιά, παραμένει μια εξαιρετικά ισχυρή και πανταχού παρούσα βάση για αναζήτηση.
Βαθιά κατάδυση
Το BM25 (Best Matching 25) είναι μια συνάρτηση κατάταξης λέξεων από το πιθανό πλαίσιο Okapi της δεκαετίας του 1990. Για κάθε όρο ερωτήματος συνδυάζει τρία σήματα: συχνότητα όρου (πόσο συχνά εμφανίζεται η λέξη σε ένα έγγραφο, με φθίνουσες επιστροφές που ελέγχονται από μια παράμετρο k1), αντίστροφη συχνότητα εγγράφου (οι σπάνιες λέξεις σε όλη τη συλλογή μετρούν περισσότερο) και κανονικοποίηση μήκους εγγράφου (παράμετρος b, έτσι ώστε τα μεγάλα έγγραφα να μην ευνοούνται άδικα). Αθροίστε αυτές τις βαθμολογίες ανά εξάμηνο και λαμβάνετε την κατάταξη του εγγράφου. Δεν χρειάζεται εκπαίδευση και τρέχει απίστευτα γρήγορα μέσω ανεστραμμένων ευρετηρίων, γι' αυτό οι μηχανές αναζήτησης όπως το Elasticsearch και το Lucene το χρησιμοποιούν από προεπιλογή. Παρά την άνοδο της ανάκτησης νευρώνων, το BM25 εξακολουθεί να κερδίζει ή να δένει σε πολλά σημεία αναφοράς, ειδικά για σπάνιους όρους, ακριβή αναγνωριστικά και ερωτήματα εκτός τομέα.
Υλοποίηση σε πραγματικό κόσμο
Προεπιλεγμένη κατάταξη συνάφειας σε Elasticsearch, OpenSearch και Apache Lucene/Solr
Ανάκτηση υποψηφίου πρώτου σταδίου που τροφοδοτεί έναν πιο αργό νευρικό αναβαθμιστή σε αναζήτηση δύο σταδίων
Αναζήτηση κωδικών και αρχείων καταγραφής όπου τα ακριβή αναγνωριστικά και οι κωδικοί σφάλματος πρέπει να ταιριάζουν με ακρίβεια
Εξόρυξη σκληρών αρνητικών παραδειγμάτων για την εκπαίδευση πυκνών ριτρίβερ όπως το DPR
Το μέλλον του BM25 και η λεξιλογική ανάκτηση
Το BM25 είναι απίθανο να εξαφανιστεί. Αντίθετα, συνδυάζεται όλο και περισσότερο με νευρωνικές μεθόδους στην υβριδική ανάκτηση, όπου οι λεξιλογικές και οι πυκνές βαθμολογίες συγχωνεύονται (συχνά μέσω αμοιβαίας σύντηξης κατάταξης). Τα μαθημένα αραιά μοντέλα όπως το SPLADE συνδυάζουν την αραιότητα τύπου BM25 με τη στάθμιση των νευρικών όρων και το BM25 συχνά χρησιμεύει ως το πρώτο στάδιο ανάκτησης πριν από τους νευρικούς ανακατατάκτες. Η ταχύτητα, η ερμηνευσιμότητα και το μηδενικό κόστος εκπαίδευσης εγγυώνται διαρκή ρόλο στην αναζήτηση παραγωγής.
Κάνοντάς το στην πράξη
Γιατί έχει σημασία
- Ταχύτητα και κλίμακα. Οι ροές εργασίας της γλώσσας μπορούν να κινηθούν πιο γρήγορα χωρίς να θυσιάζεται η συνέπεια.
- Πρόσβαση και προσέγγιση χρηστών. Επεκτείνει την πρόσβαση σε όλες τις γλώσσες και τα στυλ επικοινωνίας.
- Σαφέστερες αποφάσεις. Οι ομάδες μπορούν να αφιερώσουν περισσότερο χρόνο στην κρίση, ενώ ο αυτοματισμός χειρίζεται την επανάληψη.
Προσέξτε
- Τα παραισθησιακά γεγονότα μπορούν να εισάγουν αθόρυβα αναφορές, να υποστηρίζουν ροές ή αποτελέσματα έρευνας.
- Η άμεση ευαισθησία μπορεί να δημιουργήσει ασυνεπή αποτελέσματα σε παρόμοια αιτήματα.
- Τα ευαίσθητα δεδομένα κειμένου ενδέχεται να εκτεθούν εάν τα στοιχεία ελέγχου πρόσβασης είναι αδύναμα.
Επόμενα βήματα
- Καθορίστε τη μορφή εξόδου, τον τόνο και τα πρότυπα ποιότητας πριν από την κυκλοφορία.
- Επίγειες απαντήσεις με αξιόπιστες πηγές όποτε έχει σημασία η ακρίβεια.
- Διατηρήστε ένα σημείο ελέγχου ανθρώπινης αξιολόγησης για αποτελέσματα υψηλού πονταρίσματος.
- Παρακολουθήστε τα μοτίβα αποτυχίας και επανεκπαιδεύστε τις προτροπές ή τις ροές εργασίας τακτικά.
Συνεχίστε την εξερεύνηση
Δωρεάν ενημερωτικό δελτίο
Λάβετε την καθημερινή ενημέρωση AI
Τρία επαληθευμένα νέα AI κάθε πρωί της εβδομάδας, γραμμένα σε απλή αγγλική. Δωρεάν για πάντα, χωρίς διαφημίσεις.
Ένα email κάθε εργάσιμη ημέρα. Κατάργηση συνδρομής με ένα κλικ. Δεν πουλάμε ή μοιραζόμαστε ποτέ τη διεύθυνσή σας.
Δοκιμάστε τον εαυτό σας
Take the BM25 and Lexical Retrieval quiz
Άμεση ανάδραση σε κάθε απάντηση, και πιστοποιητικό με επαληθεύσιμο ID μόλις περάσετε το μάθημα.
Υποστηρίξτε τη δωρεάν εκπαίδευση AI. AI Understanding είναι μια μη κερδοσκοπική οργάνωση 501(c)(3) — χωρίς διαφημίσεις, χωρίς τοίχο πληρωμής, ποτέ. Κάντε μια δωρεά
Συχνές ερωτήσεις
Τι είναι το BM25 και η Λεξιλογική Ανάκτηση;
Το BM25 είναι η κλασική συνάρτηση κατάταξης βάσει λέξεων-κλειδιών που βαθμολογεί τα έγγραφα με βάση τη συχνότητα εμφάνισης των όρων ερωτήματος, προσαρμοσμένη για τη σπανιότητα των όρων και τη διάρκεια του εγγράφου. Δεκαετίες, παραμένει μια εξαιρετικά ισχυρή και πανταχού παρούσα γραμμή βάσης για αναζήτηση.
Τι χρησιμοποιεί κυρίως το BM25 για την ταξινόμηση εγγράφων;
Το BM25 συνδυάζει τη συχνότητα όρου, την αντίστροφη συχνότητα εγγράφου (σπανιότητα όρου) και την κανονικοποίηση μήκους εγγράφου σε μια βαθμολογία συνάφειας.
Τι ρόλο παίζει η αντίστροφη συχνότητα εγγράφων (IDF) στο BM25;
Το IDF επιβραβεύει όρους που είναι σπάνιοι σε όλη τη συλλογή και μειώνει τις κοινές λέξεις, καθώς οι σπάνιες αντιστοιχίσεις είναι πιο ενημερωτικές.
Γιατί το BM25 εφαρμόζει κανονικοποίηση μήκους εγγράφου (η παράμετρος b);
Χωρίς κανονικοποίηση, τα μεγαλύτερα έγγραφα θα συσσωρεύονταν περισσότερες αντιστοιχίσεις όρων. η παράμετρος b προσαρμόζεται ως προς το μήκος, ώστε οι συγκρίσεις να είναι δίκαιες.
Ποια δομή δεδομένων κάνει το BM25 γρήγορο σε κλίμακα;
Ένας ανεστραμμένος δείκτης επιτρέπει στο BM25 να βαθμολογεί μόνο τα έγγραφα που περιέχουν όρους ερωτήματος, καθιστώντας την ανάκτηση πολύ αποτελεσματική.
In the standard BM25 formula, what effect does setting b to zero have?
b controls the strength of length normalization; zero removes that adjustment while other scoring components remain.
Συνέχισε να μαθαίνεις
Σχετικοί οδηγοί
Επιλέχθηκαν περισσότεροι οδηγοί για αυτό το θέμα