LegközelebbKövetkező útmutató
Nem maximális elnyomás
Vizuális AI
Nyelvi AI ÚTMUTATÓ
A Maximum Marginal Relevance (MMR) egy újrarangsorolási módszer, amely egyensúlyt teremt az eredmény relevanciája és a már kiválasztott eredményektől való eltérés között.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.
Amikor egy keresőrendszer pusztán a lekérdezés szempontjából releváns dokumentumokat pontozza, a legjobb eredmények gyakran redundánsak – öt szövegrészlet ugyanazt mondja. A Carbonell és Goldstein által 1998-ban bevezetett MMR ezt úgy javítja ki, hogy egyenként választja ki az eredményeket. Minden lépésben kiválasztja azt a jelöltet, amely maximalizálja a súlyozott keveréket: a lambda szorzata a lekérdezéshez való relevanciájával, mínusz (1 mínusz lambda) szorozza meg a már kiválasztott bármihez való maximális hasonlóságot. Az 1-hez közeli lambda a tiszta relevanciát részesíti előnyben; 0 közelében a sokszínűségnek kedvez. A visszakereséssel kiegészített generációban az MMR népszerű a különböző darabok lekérésére, így a nyelvi modell inkább kiegészítő bizonyítékokat lát, mintsem ugyanazt a tényt ismételgetve, javítva a lefedettséget a kontextus bővítése nélkül.
A RAG csevegőbotok MMR-lekérést használnak, így az első 5 darab egy irányelv különböző aspektusait fedi le, ahelyett, hogy ugyanannak a bekezdésnek öt parafrázisa lenne.
Egy kutatási összefoglaló eszköz az MMR-t alkalmazza olyan szövegrészek kiválasztásához, amelyek minimálisra csökkentik az átfedést, így szélesebb, kevésbé ismétlődő összefoglalót készítenek.
A hírösszesítő a cikkeket az MMR-rel rangsorolja, hogy egy esemény változatos tudósítását mutassa, ahelyett, hogy tíz kiadó ismételné meg a hírt.
A LangChain vektortároló retrieverje a search_type='mmr'-t fetch_k és lambda_mult paraméterekkel teszi közzé a visszaküldött dokumentumok diverzifikálása érdekében.
Az MMR továbbra is könnyű alapértelmezett a vektor-adatbázis-kliensekben, mint például a LangChain és a Chroma, ahol egysoros visszakeresési módként kínálják. A jövőbeli rendszerek egyre gyakrabban párosítják a tanult diverzitási célkitűzésekkel, a klaszter alapú kijelöléssel és a keresztkódoló átsorolókkal, amelyek szemantikailag jobban ítélik meg az újdonságot, mint a koszinusz távolságot. Ahogy a kontextusablakok nőnek, a hangsúly a helytakarékosságról a valóban kiegészítő bizonyítékok összegyűjtésére tolódik el, a sokféleség-tudatos kiválasztást, például az MMR-t még akkor is relevánsnak tartva, ha a nyers kapacitás bőséges.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A Maximum Marginal Relevance (MMR) egy újrarangsorolási módszer, amely egyensúlyt teremt az eredmény relevanciája és a már kiválasztott eredményektől való eltérés között. Ez azért fontos, mert a tiszta relevancia-rangsorolás gyakran szinte ismétlődő szövegrészeket ad vissza, amelyek helyet pazarolnak egy RAG-kontextus ablakban.
Az MMR azzal a tendenciával foglalkozik, hogy a csak relevancia szerinti rangsorolás sok olyan eredményt jelenít meg, amelyek lényegében ugyanazt mondják, jutalmazva az újdonságot.
Lambda súlyok jelentősége; 1 közelében a relevancia kifejezés, míg a 0 közelében a diverzitás (alacsony hasonlóság) kifejezés dominál.
Az MMR egy mohó iteratív módszer: minden választás maximalizálja a relevanciát, mínusz a már kiválasztott elemekhez való maximális hasonlóság.
The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.
A visszakeresett darabok diverzifikálásával az MMR segít a modellnek abban, hogy változatos bizonyítékokat lásson ahelyett, hogy ugyanazt a tényt ismételgetné, javítva a lefedettséget.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Nem maximális elnyomás
Vizuális AI