Nyelvi AI ÚTMUTATÓ

Maximális határrelevancia

A Maximum Marginal Relevance (MMR) egy újrarangsorolási módszer, amely egyensúlyt teremt az eredmény relevanciája és a már kiválasztott eredményektől való eltérés között.

Hallgassa meg ezt az útmutatótAI-narrált · ~2 min

Ezen az oldalon2 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. A maximális határrelevancia jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

It matters because pure relevance ranking often returns near-duplicate passages that waste space in a RAG context window.

Mély merülés

Amikor egy keresőrendszer pusztán a lekérdezés szempontjából releváns dokumentumokat pontozza, a legjobb eredmények gyakran redundánsak – öt szövegrészlet ugyanazt mondja. A Carbonell és Goldstein által 1998-ban bevezetett MMR ezt úgy javítja ki, hogy egyenként választja ki az eredményeket. Minden lépésben kiválasztja azt a jelöltet, amely maximalizálja a súlyozott keveréket: a lambda szorzata a lekérdezéshez való relevanciájával, mínusz (1 mínusz lambda) szorozza meg a már kiválasztott bármihez való maximális hasonlóságot. Az 1-hez közeli lambda a tiszta relevanciát részesíti előnyben; 0 közelében a sokszínűségnek kedvez. A visszakereséssel kiegészített generációban az MMR népszerű a különböző darabok lekérésére, így a nyelvi modell inkább kiegészítő bizonyítékokat lát, mintsem ugyanazt a tényt ismételgetve, javítva a lefedettséget a kontextus bővítése nélkül.

Valós megvalósítás

A RAG csevegőbotok MMR-lekérést használnak, így az első 5 darab egy irányelv különböző aspektusait fedi le, ahelyett, hogy ugyanannak a bekezdésnek öt parafrázisa lenne.

Egy kutatási összefoglaló eszköz az MMR-t alkalmazza olyan szövegrészek kiválasztásához, amelyek minimálisra csökkentik az átfedést, így szélesebb, kevésbé ismétlődő összefoglalót készítenek.

A hírösszesítő a cikkeket az MMR-rel rangsorolja, hogy egy esemény változatos tudósítását mutassa, ahelyett, hogy tíz kiadó ismételné meg a hírt.

A LangChain vektortároló retrieverje a search_type='mmr'-t fetch_k és lambda_mult paraméterekkel teszi közzé a visszaküldött dokumentumok diverzifikálása érdekében.

A maximális határrelevancia jövője

Az MMR továbbra is könnyű alapértelmezett a vektor-adatbázis-kliensekben, mint például a LangChain és a Chroma, ahol egysoros visszakeresési módként kínálják. A jövőbeli rendszerek egyre gyakrabban párosítják a tanult diverzitási célkitűzésekkel, a klaszter alapú kijelöléssel és a keresztkódoló átsorolókkal, amelyek szemantikailag jobban ítélik meg az újdonságot, mint a koszinusz távolságot. Ahogy a kontextusablakok nőnek, a hangsúly a helytakarékosságról a valóban kiegészítő bizonyítékok összegyűjtésére tolódik el, a sokféleség-tudatos kiválasztást, például az MMR-t még akkor is relevánsnak tartva, ha a nyers kapacitás bőséges.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Maximum Marginal Relevance quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

What is Maximum Marginal Relevance?

A Maximum Marginal Relevance (MMR) egy újrarangsorolási módszer, amely egyensúlyt teremt az eredmény relevanciája és a már kiválasztott eredményektől való eltérés között. Ez azért fontos, mert a tiszta relevancia-rangsorolás gyakran szinte ismétlődő szövegrészeket ad vissza, amelyek helyet pazarolnak egy RAG-kontextus ablakban.

Mi az az elsődleges probléma, amelyet az MMR-nek meg kell oldania?

Az MMR azzal a tendenciával foglalkozik, hogy a csak relevancia szerinti rangsorolás sok olyan eredményt jelenít meg, amelyek lényegében ugyanazt mondják, jutalmazva az újdonságot.

Mit hangsúlyoz az MMR képletben az 1-hez közeli lambda érték?

Lambda súlyok jelentősége; 1 közelében a relevancia kifejezés, míg a 0 közelében a diverzitás (alacsony hasonlóság) kifejezés dominál.

Hogyan választja ki az MMR az eredményeket?

Az MMR egy mohó iteratív módszer: minden választás maximalizálja a relevanciát, mínusz a már kiválasztott elemekhez való maximális hasonlóság.

How can an embedding-based MMR implementation measure query relevance and document redundancy?

The general algorithm permits suitable similarity functions; cosine is a common choice for vector representations.

Miért különösen hasznos az MMR a retrieval-augmented generációban (RAG)?

A visszakeresett darabok diverzifikálásával az MMR segít a modellnek abban, hogy változatos bizonyítékokat lásson ahelyett, hogy ugyanazt a tényt ismételgetné, javítva a lefedettséget.