Nhungamiro yehunyanzvi

Kudzidzira Mhando dzeEmbedding dzekuwana

Kunyatsogadzirisa modhi yekumisikidza kunoreva kuidzidzisa pamapeya emibvunzo chaiyo uye zvinyorwa zvinovapindura, kuitira kuti mudura rako rakakodzera mavara auye pamwe chete muvector space pane zvisina basa zvinyorwa.

Teerera kugwaro iriAI-yakarondedzerwa · ~3 min

Pa peji ino4 min verenga
  1. Pfupiso
  2. Kudzika Kwakadzika
  3. Kuitwa muNyika yeChokwadi
  4. Ramangwana reKunakisa-Tuning Embedding Models yeKutora
  5. Kuzvishandisa
  6. Ramba Uchiongorora
  7. Mibvunzo inowanzo bvunzwa

Pfupiso

Izvo zvine basa nekuti kudzoreredza mhando yemhando yeRAG mhando: kana ndima chaiyo isina kudzoserwa, iyo modhi yemutauro haigone kuishandisa, uye zvakajairwa-chinangwa embeddings kazhinji inopotsa domain mazwi, mapfupi uye nzira iyo vashandisi vako mibvunzo yekutaura.

Kudzika Kwakadzika

Modhi yekumisikidza inosandura mavara kuita vhekita kuitira kuti zvinyorwa zvemanzwi zvakafanana zvine maveekita akafanana, anowanzo kuyerwa necosine kufanana. MuRAG, mibvunzo yese uye zvinyorwa zvinyorwa zvakamisikidzwa, uye machunks ari padyo anotorwa. Mamodheru akadzidziswa anodzidziswa pawebhu yakafararira uye mibvunzo-mhinduro data. Vanoshanda zvine mutsindo kwese kwese asi vanogona kunetsekana nemashoko akasarudzika, mazita echigadzirwa chemukati, uye musiyano uripo pakati pekubvunza nemushandisi uye kuti gwaro rinonyorwa sei. Kunyatsogadzirisa kunovhara iro gomba nedata rekudzidzisa mumhando nhatu. Positive pairs mubvunzo uye ndima inoupindura. In-batch negatives inoshandisa dzimwe ndima dziri mubatch imwechete yekudzidziswa semienzaniso yezvinofanira kudzika. Zvakaoma zvisina kunaka zvikamu zvinotaridzika zvine basa, kugovera mazwi kana musoro, asi zvisingapindure mubvunzo. Zvakaoma zvakashata zvinodzidzisa misiyano yakanaka inonyanya kukosha, nekuti zvisiri nyore zvakashata zvakatoparadzaniswa neiyo base modhi. Nzvimbo dzakanaka dzedhata dzinosanganisira matanda ekutsvaga nekudzvanya, matikiti ekutsigira akabatanidzwa kune zvinyorwa, mapeji eFAQ, uye mibvunzo yakagadzirwa kubva mumagwaro ako nemhando yemutauro. Synthetic data inobatsira asi inofanirwa kusefa, sezvo mibvunzo inogadzirwa inowanzo kukopa mazwi egwaro uye kuita kuti basa rive nyore. Kugara kusinganzwisisike ndeyekuti kugadzirisa zvakanaka ndiyo yekutanga gadziriso yekutadza kudzoreredza. Kazhinji zvirinani chunking, kuwedzera kiyi yekutsvaga senge BM25 mune yakasanganiswa setup, kana kuwedzera reranker kunopa mibairo mikuru nekuedza kushoma. Kunyatsogadzirisa kunonyanya kukosha kana wayera gwanza rekudzoreredza uye uine kana unogona kuvaka zvingangoita zviuru zvishoma zvemhando dzepeya. Imwe gomba ndeyekunyepa kwenhema: yakacherwa yakaoma negative iyo inopindura mubvunzo. Kudzidzisa modhi kuisundidzira kure kunokuvadza kunaka. Uyewo cherechedza kuti kushandura embedding modhi kunoda kupinza zvakare kuunganidzwa kwegwaro rose, nekuti mavheti ekare uye matsva haafananidzwe.

Kuitwa muNyika yeChokwadi

Kambani yeinishuwarenzi inodzidzisa embeddings pamapeya emibvunzo yemutengi uye mitemo inovapindura, saka 'foni yangu inovharwa kana ndikadonhedza' inotora chikamu chekukuvara netsaona.

Kambani yesoftware inoshandisa nhoroondo yetiketi rekutsigira, kubatanidza mubvunzo wetiketi rega rega nevamiriri vezvinyorwa zvekubatsira vanobatanidzwa mumhinduro yavo, sedata remahara rekudzidziswa.

Boka rekutsvagisa zviri pamutemo rinochera zvisizvo nekutora zvirevo zvinogovana mazwi akakosha nemubvunzo asi zvichigadzirisa humwe hutongi, kudzidzisa modhi kuaparadzanisa.

Chikwata chemishonga chinogadzira mibvunzo yekugadzira kubva mumagwaro emukati nemodhi yemutauro, inosefa yemhando yakaderera, uye inoshandisa maviri maviri kudzidzisa modhi yekumisikidza domain.

Ramangwana reKunakisa-Tuning Embedding Models yeKutora

Mamodheru ekumisikidza mamodheru anoramba achinatsurudzwa pamabhenji eruzhinji akadai seMTEB, ayo anotetepa asi asingabvisi bhenefiti yekugadziriswa kwedomasi, sezvo data rebenchmark risingawanzoenderana nekompusi yakavanzika. Kugadzirwa kwedata rekugadzira nemamodheru emitauro kwaita kuti kurongeka kwakanaka kushande kuzvikwata zvisina madhatabheti makuru akanyorwa. Tarisira kuenderera mberi kwekushandiswa kwemapaipi akasanganiswa uko modhi yakanyatsokwenenzverwa inobata kuyeuka kwekutanga uye reranker inobata nemazvo. Iyo yekuyera tsika inonyanya kukosha: zvikwata zvinoteedzera kuyeuka pamibvunzo chaiyo zvinozoziva kana kunyatsogadzirisa kwabhadhara.

Kuzvishandisa

Nei zvichikosha

  • Mutengo uye bhajeti. Zvisarudzo zvezvivakwa zvinotyaira kuita uye mutengo wekushandisa kwemakore.
  • Sarudzo dzakajeka. Dzidzo yehunyanzvi inobatsira zvikwata kusarudza murwi wakakodzera, kwete iwo mutsva chete.
  • Kudzora kwemhando yepamusoro. Sarudzo dzeinjiniya dziri nani dzinoderedza zviitiko zvekuvimbika mukugadzira.

Chenjera

  • Kugadzirisa imwe bhenji kunogona kuvanza yakafara system kushaya simba.
  • Infrastructure uye mari yekugadzirisa inowanzotarisirwa pasi.
  • Chengetedzo uye kucherechedzwa mapundu anogona kukura sezvo masisitimu anowedzera kuoma.

Matanho anotevera

  1. Tsanangura latency, mhando, uye mutengo zvinangwa usati waitwa.
  2. Benchmark pasi pechokwadi mutoro uye data mamiriro.
  3. Chishandiso chekutarisa zvikanganiso, kudonha, uye mushandisi maitiro.
  4. Gadzirira nzira dzekudzosera kumashure uye dzezviitiko usati wawedzera.

Ramba Uchiongorora

Tsamba yemahara

Tora iyo yemazuva ese AI pfupiso

Nhatu dzakasimbiswa dzeAI nyaya mangwanani ega ega pakati pevhiki, dzakanyorwa neChirungu chakajeka. Yemahara zvachose, hapana ads.

Imwe email zuva rega rega revhiki. Bvisa kunyoresa kamwe chete. Hatimbotengese kana kugovera kero yako.

Zviedze iwe pachako

Take the Fine-Tuning Embedding Models for Retrieval quiz

Mhinduro yepakarepo pamhinduro yega yega, uye chitupa chinogovaniswa chine ID inobatika kana wapedza kosi.

Tanga mibvunzo

Tsigira dzidzo yemahara yeAI. AI Understanding ndeye 501(c)(3) isingabatsiri - hapana ads, hapana paywall, zvachose. Ita chipo

Mibvunzo inowanzo bvunzwa

Chii chinonzi Fine-Tuning Embedding Models yeKutora?

Kunyatsogadzirisa modhi yekumisikidza kunoreva kuidzidzisa pamapeya emibvunzo chaiyo uye zvinyorwa zvinovapindura, kuitira kuti mudura rako rakakodzera mavara auye pamwe chete muvector space pane zvisina basa zvinyorwa. Izvo zvine basa nekuti kudzoreredza mhando yemhando yeRAG mhando: kana ndima chaiyo isina kudzoserwa, iyo modhi yemutauro haigone kuishandisa, uye zvakajairwa-chinangwa embeddings kazhinji inopotsa domain mazwi, mapfupi uye nzira iyo vashandisi vako mibvunzo yekutaura.

Chii chakaoma chakaipa mukumisikidza zvakanaka-tuning?

Manegative akaoma anogovana mazwi kana musoro nemubvunzo asi haana chokwadi, achidzidzisa iwo modhi misiyano yakanaka.

Sei zvakaomarara zvisina kunaka zvichinyanya kubatsira pane zviri nyore zvakaipa?

Easy negatives dzatove kure nemubvunzo; zvakashata zvakashata zvinomanikidza muenzaniso kuti udzidze misiyano isingaoneki.

Chii chinonzi negative negative muchirevo chechinyorwa chino?

Kana zvinofungidzirwa kuti hazvina kunaka zvine basa, kudzidziswa kunosundira mhinduro kwayo kure uye kunokuvadza kudzoreredza.

Ndekupi kurasikirwa kunowanzo shandiswa kudzidzisa mamodheru ekumisikidza pamapeji ebvunzo?

Kurasikirwa kwakasiyana kunopa izvo zvakanaka zvinopesana ne-mu-batch uye zvakaomarara zvisina kunaka, zvichisundira zvakanaka kumusoro.

Mushure mekuchinja kune ichangobva kukwenenzverwa yekumisikidza modhi, chii chaunofanira kuita kune yako gwaro index?

Vectors kubva kune akasiyana mamodheru haana kufananidzwa, saka muunganidzwa wese unofanirwa kuiswa zvakare.