GUIDE teknik

RAG ak RAGAS

RAG evaluation dafay joxe poñ ci sistemu generation buñ yokk ci seetlu ak ci generation, li gëna bari ci ñeenti metrics: gëm, tontu relevance, contexte precision ak contexte recall.

Déglul tegtal biiIA-nettali · ~3 min

Ci xët wii3 simili jàng
  1. Résumé
  2. Plongeur bu xóot
  3. Doxal ci àdduna dëgg
  4. Ëlëgu RAG ak RAGAS
  5. Teg ko ci jëf
  6. Weyal di banneexu
  7. Laaj yi ñuy faral di laaj

Résumé

RAGAS ab kaadar bu ubbeeku la buy xayma metrics yooyu, lu ci gëna bari di jëfandikoo LLM ngir àtte. Tàqale poñ yi dañu am solo ndax dañuy wane ndax tontu bu baaxul bi bawoo ci jël pàcc yu jaarul yoon wala ci jëfandikoo bu baax pàcc yi.

Plongeur bu xóot

Sistem RAG mën na ñàkk ci ñaari barab: retrieval mën na jël passage yu jaarul yoon, wala generation mën na bàyyi xel wala di soppi passage yu baax yi. Benn poñ kalite gépp mooy nëbb li xewoon, moo tax jàngat RAG dafay xaaj pipeline bi ay pàcc yuñ mëna natt. RAGAS, benn kaadaru open-source buñu dugal ci benn téere ci 2023 bu Es ak ay naataangoom dugal, siiwal nañu ay metric yu am solo yuy muur ñaari xaaj yi. Faithfulness dafay laaj ndax bépp wax bu nekk ci tontu bi dafa méngoo ak liñu ci jëlee; dafay jàpp hallucination doonte tontu li dafa melni lu wóor. Tontu pertinence dafay laaj ndax tontu bi dafay tontu laaj bi, di yar tontu yu jaarul yoon wala yu padded. Context precision dafay laaj ndax chunks yiñ jëlee ñu am solo ñu ngi nekk ci kaw bi moo gën ñu suul leen ci bruit bi. Context recall dafay laaj ndax contexte biñ jëlee dafa am lépp lu war ngir am tontub royuwaay, kon dafay laaj tontu bu dëggu ci laaj bu nekk ci test bi. Lu gëna bari ci poñ yooyu LLM mooy àtte, ñu xaaj ko ay pàcc yu ndaw. Ngir dëggu, àttekat bi dafay jël benn-benn tontu ci tontu bi, ba noppi xool bu nekk ci liñu ci bind; poñ bi mooy fraksioŋ biñ jàppale. Ngir am tontu bu méngoo, RAGAS dafay defar laaj yi tontu bi di tontu ba noppi méngale leen ak laaj bu njëkk bi ci jëfandikoo embeddings. Xalaat yu noonu mel dañu feeñ ci yeneen jumtukaay, lu ci melni TruLens RAG triad (njariñu muy tekki, gëna am solo ak njariñu tontu) ak DeepEval. Ñaari gis-gis yu jaarul yoon ñoo bari. Bi ci njëkk mooy gëm tekkiwul lu jaadu: tontu mën na baamtu ci dëgg ab këyit bu màgget wala bu jaarul yoon. Ñaareel ba mooy poñ yi LLM-àttekat yi joxe duñu dëgg. Dañu wuute ci xeetu àttekat bi ak ci saasi, kon ekip yi dañu leen di xool ci etiketu nit ñi, ba noppi ñu méngale sistem yi ci jekkal yu nuróo, duñu jël poñ bu melni 0.85 ni grade absolu.

Doxal ci àdduna dëgg

Assistant politiku bànk bi dafay am 0.95 ci fàttaliku contexte waaye 0.70 ci njub, loolu dafay wax ni ekip bi dafay baax te model bi dafay yokk ay detay yuñ mënul jàppale, moo tax ñu gëna tar ci laaj bi moo gën tabaxaat index bi.

Benn ekipu jàppale dafay méngale ñaari xeeti embedding ci benn test bu am 200 laaj, ba noppi tëye benn bi gëna am fàttaliku contexte ak contexte precision.

Jumtukaayu xam-xam lopitaal dafay doxal poñ njubte ci misaalu laaj dëgg yu bis bu nekk ak tontu yu amul benn firnde ngir nit ñi xoolaat laata motif bi di tasaaroo.

Benn startup dafay yokk reranker ginaaw bimu gisee contexte recall bu yéeg waaye contexte precision bu néew, loolu dafay tekki ni chunks yu baax yi dañu leen jëlee waaye ñu teg leen ci suufu yi amul njariñ.

Ëlëgu RAG ak RAGAS

RAG evaluation mingi joge ci rapoor yi yenn saa yi nekk ci net bi, dem ci saytu yu wéy, fu ñuy joxe poñ ci misaalu trafik bi ci liggéey bi, ba noppi regression yi di def ay àrtu. Frameworks yi dañuy yokk ay metrics ngir waxtaan yu bari, agents ak jëfandikoo jumtukaay, ak coppite ci misaali metrics ci diggante versioŋu bibliotek yi, kon pinning versioŋ yi dafa am solo ngir am resultaa yuñ mëna méngale. Jafe-jafe bi gëna mag mooy wóor àttekat yi: LLM àttekat yi mën nañu wane njubadi yu melni bëgg tontu yu gëna gudd, te deggoo ak nit ñi xoolaatkat yi wuute ci domen bu nekk. Kalibre àttekat yi ci ensemble yu ndaw yuñ etikete nit ñi ak boole leen ak metrics retrieval deterministik mën na nekk jëf ju baax.

Teg ko ci jëf

Lu tax mu am solo

  • Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
  • dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
  • Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.

Moytul

  • Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
  • Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
  • Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.

Jéego yi ci topp

  1. Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
  2. Benchmark ci biir sargal ak done yu dëggu.
  3. Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
  4. Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.

Weyal di banneexu

Bulletin bu amul fayda

Jàngal xibaar AI bu bes

Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.

Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.

Nattal sa bopp

Take the RAG Evaluation Metrics and RAGAS quiz

Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.

Tambalil quiz

Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax

Laaj yi ñuy faral di laaj

Luy RAG ak RAGAS?

RAG evaluation dafay joxe poñ ci sistemu generation buñ yokk ci seetlu ak ci generation, li gëna bari ci ñeenti metrics: gëm, tontu relevance, contexte precision ak contexte recall. RAGAS ab kaadar bu ubbeeku la buy xayma metrics yooyu, lu ci gëna bari di jëfandikoo LLM ngir àtte. Tàqale poñ yi dañu am solo ndax dañuy wane ndax tontu bu baaxul bi bawoo ci jël pàcc yu jaarul yoon wala ci jëfandikoo bu baax pàcc yi.

Ban metrik mooy saytu ndax bépp laaj bu nekk ci tontu bi amna lu muy tekki ci muy tekki?

Gëm-gëm mooy natt paccu tontu yiñ laaj te ñu jàppale ko ci muy wax ci hallucination.

Ci metrics yii, yan ci ñoom moo soxla tontub royuwaay bu dëggu ci laaj bu nekk ci test bi?

Context recall dafay saytu ndax context biñ jëlee amna li soxla ci tontu royuwaay bi, kon royuwaay bi dafa wara am.

Lan mooy natt njubte ci contexte?

Context precision dafay neexal teg ay mbir yu am njariñ ci rang bi ludul suul leen ci mbir yu amul njariñ.

naka la RAGAS di xayma njariñu tontu?

Sudee laaj yi juddoo ci tontu bi dañuy nuru laaj bi dëgg, tontu bi mingi ci topic bi; embeddings yi ñooy natt nuru googu.

Sistem bi dafay wane muy fàttaliku contexte bu bari waaye muy wane njubte ci contexte bu néew. Lan mooy li gëna mëna saafara?

Chunks yu baax yi ñu ngi leen di jëlee waaye ñu ngi leen rang bu baaxul, te loolu mooy jafe-jafe rang bi reranger yi di faral di saafara.