Relevanță marginală maximă
Relevanța marginală maximă (MMR) este o metodă de re-clasificare care echilibrează cât de relevant este un rezultat față de cât de diferit este de rezultatele deja alese.
Prezentare generală
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Scufundare în profunzime
Atunci când un sistem de căutare punctează documentele doar în funcție de relevanța pentru o interogare, rezultatele de top sunt adesea redundante - cinci pasaje spun toate același lucru. MMR, introdus de Carbonell și Goldstein în 1998, rezolvă acest lucru prin selectarea rezultatelor pe rând. La fiecare pas, alege candidatul care maximizează un amestec ponderat: lambda înmulțit cu relevanța sa pentru interogare, minus (1 minus lambda) ori mai mult asemănarea sa maximă cu orice lucru deja selectat. O lambda aproape de 1 favorizează relevanța pură; aproape de 0 favorizează diversitatea. În generarea de recuperare sporită, MMR este popular pentru preluarea unui set variat de bucăți, astfel încât modelul de limbaj vede dovezi complementare mai degrabă decât același fapt repetat, îmbunătățind acoperirea fără a mări contextul.
Perspectivă tehnică
MMR este un algoritm lacom, iterativ. Atât relevanța, cât și similitudinea între documente sunt de obicei calculate ca asemănare cosinus între vectorii de încorporare. Formula de punctare este: MMR = argmax peste documentele rămase din [ lambda * sim(doc, query) - (1 - lambda) * max sim(doc, selected) ]. Deoarece se reevaluează în funcție de setul selectat în creștere în fiecare rundă, este dependent de ordine și rulează în comparații de similaritate aproximativ O(k*n) pentru k alegeri din n candidați.
Impact strategic
Viteză și scară
Fluxurile de lucru lingvistice se pot deplasa mai rapid fără a sacrifica consistența.
Acces și acoperire
Extinde accesul în diferite limbi și stiluri de comunicare.
Decizii mai clare
Echipele pot petrece mai mult timp jucând în timp ce automatizarea se ocupă de repetiție.
Viitorul relevanței marginale maxime
MMR rămâne o versiune implicită ușoară în clienții de baze de date vectoriale, cum ar fi LangChain și Chroma, unde este oferit ca mod de recuperare pe o singură linie. Viitoarele sisteme îl împerechează din ce în ce mai mult cu obiective de diversitate învățate, selecție bazată pe cluster și rerankere cu codificatori încrucișați care judecă noutatea mai mult semantic decât distanța cosinus. Pe măsură ce ferestrele de context cresc, accentul se mută de la economisirea spațiului la curatarea dovezilor cu adevărat complementare, menținând selecția conștientă de diversitate, cum ar fi MMR, relevantă chiar și atunci când capacitatea brută este abundentă.
Implementare în lumea reală
Un chatbot RAG folosește recuperarea MMR, astfel încât primele 5 părți ale sale acoperă diferite aspecte ale unei politici în loc de cinci parafraze ale aceluiași paragraf.
Un instrument de rezumat al cercetării aplică MMR pentru a alege pasaje care minimizează suprapunerea, producând un rezumat mai larg, mai puțin repetitiv.
Un agregator de știri clasifică articolele cu MMR pentru a arăta o acoperire variată a unui eveniment, mai degrabă decât zece posturi care repetă o poveste.
Retriever-ul de magazin vector al LangChain expune search_type='mmr' cu un fetch_k și lambda_mult pentru a diversifica documentele returnate.
Riscuri și balustrade
Faptele halucinate pot intra în liniște în rapoarte, fluxuri de sprijin sau rezultate ale cercetării.
Sensibilitatea promptă poate crea rezultate inconsecvente pentru solicitări similare.
Datele text sensibile pot fi expuse dacă controalele de acces sunt slabe.
Foaia de parcurs de implementare
Definiți formatul de ieșire, tonul și standardele de calitate înainte de lansare.
Răspunsurile la sol cu surse de încredere ori de câte ori acuratețea contează.
Păstrați un punct de control uman pentru rezultate cu mize mari.
Urmăriți tiparele de eșec și reantrenați în mod regulat solicitările sau fluxurile de lucru.
Continuați să explorați
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Maximum Marginal Relevance quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Următorul ghid
Suprimarea non-maximă
Întrebări frecvente
What is Maximum Marginal Relevance?
Relevanța marginală maximă (MMR) este o metodă de re-clasificare care echilibrează cât de relevant este un rezultat față de cât de diferit este de rezultatele deja alese. Contează deoarece clasarea pură a relevanței returnează adesea pasaje aproape duplicate care pierd spațiu într-o fereastră de context RAG.
Care este problema principală pe care o rezolvă MMR?
MMR abordează tendința de clasare doar cu relevanță de a scoate la iveală multe rezultate care spun în esență același lucru, prin recompensă noutatea.
În formula MMR, ce evidențiază o valoare lambda apropiată de 1?
Relevanța greutăților lambda; aproape de 1 domină termenul de relevanță, în timp ce aproape de 0 domină termenul de diversitate (similaritate scăzută).
Cum își selectează MMR rezultatele?
MMR este o metodă iterativă lacomă: fiecare alegere maximizează relevanța minus similaritatea maximă cu elementele deja alese.
Ce măsură de similaritate este utilizată cel mai frecvent în MMR pentru încorporarea textului?
Similitudinea cosinus între vectorii de încorporare este alegerea standard atât pentru relevanța interogării, cât și pentru compararea între documente în MMR.
De ce este MMR deosebit de utilă în generarea augmentată de recuperare (RAG)?
Prin diversificarea bucăților recuperate, MMR ajută modelul să vadă dovezi variate, mai degrabă decât același fapt repetat, îmbunătățind acoperirea.