GUIDE teknik

Këyitu waajur ak seetlu bu ndaw ba bu mag

Seetlu këyitu waajur, ñu koy woowe itam seetlu bu ndaw ba mag, seetlu ci kaw ay pàcc yu ndaw, yu leer waaye dafay jox modelu làkk wi wàll wi gëna mag wala këyit bi pàcc bu nekk bawoo.

Déglul tegtal biiIA-nettali · ~3 min

Ci xët wii4 simili jàng
  1. Résumé
  2. Plongeur bu xóot
  3. Doxal ci àdduna dëgg
  4. Ëlëgu këyitu waajur yi ak seetlu bu ndaw ba bu mag
  5. Teg ko ci jëf
  6. Weyal di banneexu
  7. Laaj yi ñuy faral di laaj

Résumé

Dafa am solo ndax dafay dindi njaayum chunking bi ñuy faral di def: chunks yu ndaw yi méngoo nañu laaj yi ci anam wu jaar yoon, ba noppi waajur bu gëna mag bi dafay jox model bi contexte bu doy ngir tontu ci anam wu jaar yoon.

Plongeur bu xóot

Chunking bu am dayo bu takku dafay forse kompromis. Chunks yu ndaw, wax ay frase yu néew, defar ay embedding yu ñaw: vecteur bi dafay representé benn xalaat, kon laaj ci xalaat boobu dafa méngoo bu baax ak moom. Waaye pàcc bu am ñaari frase bariwul lumuy am contexte bu doy ngir model bi mëna tontu bu baax; mën na dindi liñu joxe ci ñatti paragraf yi njëkk wala li ci génn ci tegtal bi ci topp. Chunks yu mag yi dañu yor contexte boobu, waaye seeni embeddings dañuy boole ay xalaat yu bari, moo tax retrieval bi dafay gëna néew lumuy tekki, te passage bi am solo mën nañu ko ëpp poñ ci chunk bu nekk ci topic bi kese. Recuperation bu ndaw ba bu mag dafay xaaj ñaari liggéey yi. Sistem bi dafay indexe ay pàcc yu ndaw ngir seetlu, ba noppi xale bu nekk dafay tëye benn pointer ci waajur bu gëna mag: benn wàll, benn xët, wala këyit wi yépp. Buñu demee ba ci laaj, dafay gis xale yi gëna baax, ba noppi xool ci kaw ba noppi delloosi seeni waajur. Sudee xale yu bari bokk nañu benn waajur, dañuy yónnee waajur bi benn yoon, loolu itam dafay dindi ñaari yoon. ParentDocumentRetriever bu LangChain dafay jëfandikoo lii ci dencukaay vecteur ngir xale yi ak dencukaay bu wuute ngir waajur yi. LlamaIndex dafay joxe motif yu méngoo: seetlu palanteer-frase, biy delloosi frase bu méngoo ak limu frase yi ci wetam, ak seetlu buy boole boppam, biy wecci xeetu xob yu bari yuñ jëlee ak seen node waajur buñ bokk suñu doy ci ñoom méngoo. Bokk na ci anam yi ñuy jaar ngir raw ay dokimaa yu yam ci dayo buñ yamale lu ci melni téere yi, kontraa yi, sàrt yi ak téere jàngat yi, fu li ñuy tekki mingi aju ci wàll wi ko wër. Sudee këyit yi dañu gàtt ba noppi, wala sudee waajur yi dañu yaatu ba yenn ci ñoom di fees ci palanteer bi wala ñu suul tontu bi ci mbind mu amul njariñ, loolu du am njariñ. Li ñuy gëna gëm mooy lii dafay jëfandikoo ay piyees yu gëna rëy. Du noonu la: unité retrieval bi ak unité generation bi dañu wuute ci dayo, kon dangay wéy di méngoo bu baax te doo xiifal modelu contexte bi.

Doxal ci àdduna dëgg

Benn bot biy jàppale IT ci biir dafay indexe jéego bu nekk ci saafara jafe-jafe ni benn chunk bu wuute, waaye su benn jéego méngoo dafay delloosi doxalin bi yépp, kon model bi waxul jëfandikukat yi ñu def jéego 4 te duñu def jéego 1 ba 3.

Jumtukaayu gëstub yoon méngoo ak benn klawusul buy wax ci diiru yëgle ci jeexal, ba noppi mu jàll model bi ci wàllu kontraa bi yépp, boole ci li ñuy tekki ak lu wuute ak lu soppi li klawusul bi di tekki.

Jàppalekatu njàngum daara ju kawe dafay seet ay pàcc yu tollu ci frase ci notu jàngat yi ba noppi delloosi xët wi ko wër, kon tontu yi jëm ci benn formul dañuy àndaale ak anam yi ñu koy jëfandikoo.

Assistant claim assurance dafay jël ay match yu ndaw ci benn këyitu polise, daal di leen boole ci waajur, ba noppi yónnee wàllu polise boobu benn yoon ci barabu juróomi fragment yuy jaxasoo.

Ëlëgu këyitu waajur yi ak seetlu bu ndaw ba bu mag

Small-to-big mingi nekk luñuy jagleel, te du luñuy nax, te kaadar yu mag yi dañuy wane hierarchique wala windowed retrieval ni tànneefi tabb. Palanteer yu gëna mag dañuy wàññi daan gi ci yónnee waajur yu gëna mag, loolu mooy tax motif bi gëna xéewale ngir adopte ko. Laajte yu ubbeeku yi des nañu ci tànneef ci saasi ay pexe waajur, ci misaal jëfandikoo jàngat jëmmal dokimaa wala segmentation jàng ludul yéem ci boppu yi. Dafay gëna boole ak rerankers ak ak jegewaale contextuel-embedding yuy jéema jox xam-xam bu ndaw ci seen wërsëg ci waxtu indexation. Test ci say këyitu bopp, du benchmarks général, mooy anam wi gëna wóor ngir tànn dayo xale ak waajur.

Teg ko ci jëf

Lu tax mu am solo

  • Njëgg ak budget. Dogal yi architecture di jël dañuy indi njariñ ak njëgu liggéey bi ay at ci ginaaw.
  • dogal yu gëna leer. Njàngalem xarala yi dafay jàppale ekip yi ñu tànn li gën, te baña yam ci li gëna bees daal.
  • Xool kalite. Tanneef yu gëna baax ci wàllu ingeñër dina wàññi jafe-jafe yi ci wàllu wóor ci liggéey bi.

Moytul

  • Optimize benn benchmark mën na nëbb ñakk kattan yu gëna yaatu ci sistem bi.
  • Njëg li ñuy fay ci infrastructure yi ak ci toppatoo dañuy faral di suufeel.
  • Bu sistem yi di gëna xawa jafee xam, jafe-jafe yi am ci wàllu kaaraange ak seetlu mën nañu gëna bari.

Jéego yi ci topp

  1. Mandargal latency, kalite, ak njëg yi laata ngay jëfandikoo.
  2. Benchmark ci biir sargal ak done yu dëggu.
  3. Jumtukaay bi di saytu njuumte yi, derive bi ak njeextalu jëfandikukat bi.
  4. Waajal rollback ak yooni tontu ci jafe-jafe yi laata ngay eskale.

Weyal di banneexu

Bulletin bu amul fayda

Jàngal xibaar AI bu bes

Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.

Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.

Nattal sa bopp

Take the Parent Document and Small-to-Big Retrieval quiz

Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.

Tambalil quiz

Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax

Laaj yi ñuy faral di laaj

Luy Këyitu Waajur ak Retrieval bu ndaw ba bu mag?

Seetlu këyitu waajur, ñu koy woowe itam seetlu bu ndaw ba mag, seetlu ci kaw ay pàcc yu ndaw, yu leer waaye dafay jox modelu làkk wi wàll wi gëna mag wala këyit bi pàcc bu nekk bawoo. Dafa am solo ndax dafay dindi njaayum chunking bi ñuy faral di def: chunks yu ndaw yi méngoo nañu laaj yi ci anam wu jaar yoon, ba noppi waajur bu gëna mag bi dafay jox model bi contexte bu doy ngir tontu ci anam wu jaar yoon.

Lan mooy core compromis bi recuperation bu ndaw ba bu mag di wax?

Chunks yu ndaw yi deñuy joxe embedding yu fokalise waaye contexte bi tuuti lool; chunks yu yaatu yi deñuy joxe contexte waaye ay embedding yu fësul. Seetug ndaw-ba-magg dafay ndaw ba noppi dellu lu rëy ngir am ñoom ñaar.

Ci sistem bu ndaw ba bu mag, lan lañu samp ak seetlu ci waxtu laajte?

Xale yi dañu leen indexe ngir ñu méngoo bu baax; waajur yi duñu xool bu baax ginaaw bi doom yi méngoo.

Sudee ñatti chunk yu doom yiñ jëlee ñoom ñépp bokk nañu ci benn wàllu waajur, lan la sistem bi wara def?

Gruppement par parent dafay tekki ni dañu boole wàll wi benn yoon, loolu dafay denc ay token ba noppi dindi ñaari fragment.

naka la ko LangChain di denc ñaari dayo mbind yi?

Xale yi dañu leen dugal ci benn vecteur store ngir seetlu, waajur yu mat yi toog ci benn butig këyit, ID bi moo leen di jël.

Luy delloo ci palanteeru frase?

Seetug palanteer frase mingi méngoo ak niveau frase bi ba noppi mu yokk ba ci palanteeru frase yi ko wër ngir joxe contexte bi.