Ipon Passage igbapada
Imupadabọ Irin-ajo Dense (DPR) wa ọrọ ti o baamu nipa ifiwera itumọ ibeere kan ati awọn ọrọ bi awọn onipin oni nọmba, kii ṣe awọn ọrọ ti o baamu.
Akopọ
It matters because it can retrieve correct answers even when the query and the document share zero vocabulary.
Jin Dive
DPR, ti Facebook AI ṣafihan ni ọdun 2020, nlo awọn koodu koodu BERT meji lọtọ: koodu koodu ibeere ati koodu koodu aye kan. Ọkọọkan yi ọrọ pada si fekito iwuwo gigun-ipari (nigbagbogbo awọn iwọn 768). Ibaramu jẹ ọja aami laarin fekito ibeere ati fekito aye kan, nitorinaa igbapada di wiwa adugbo ti o sunmọ julọ ni iyara lori awọn ifibọ aye ti a ti ṣaju. Awoṣe naa jẹ ikẹkọ pẹlu ibi-afẹde iyatọ: fa fekito ti ọna ọtun ti o sunmọ ibeere naa ki o Titari awọn ti ko tọ kuro, ni lilo awọn odi-ipele pẹlu awọn odi lile ti o wa lati BM25. Lori awọn aṣepari QA-ibugbe-ṣisi bii Awọn ibeere Adayeba, DPR lu BM25 ti o gun-gun nipasẹ awọn ala nla, ti n fihan pe ibaramu imọ-jinlẹ le ṣe ilọsiwaju wiwa Koko fun idahun awọn ibeere.
Imọ-imọ-ẹrọ
DPR jẹ kooduopo-meji: o ṣe koodu ibeere naa ati aye kọọkan ni ominira, nitorinaa gbogbo awọn ọna ipa ọna ti wa ni iṣiro lẹẹkan ati fipamọ sinu atọka fekito (fun apẹẹrẹ, FAISS). Ni akoko ibeere o ṣe koodu koodu nikan ni ibeere naa, lẹhinna ṣiṣe wiwa-isunmọ-isunmọ-isunmọ. Ikẹkọ da lori awọn odi inu-ipele - awọn ọrọ miiran ni ipele kekere kanna ṣiṣẹ bi awọn apẹẹrẹ odi ti o fẹrẹẹfẹ fun ọfẹ, eyiti o jẹ ki tọkọtaya rere kan ṣe agbekalẹ ọpọlọpọ awọn afiwera iyatọ daradara.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti igbapada ipon Passage
Imupadabọ ipon ni bayi ṣe atilẹyin ọpọlọpọ igbapada-igbega iran pipelines ti n fun awọn awoṣe ede nla. Iwadi n gbe lọ si awọn ọna ṣiṣe arabara ti o dapọ awọn iwọn ipon ati lexical, awọn awoṣe ibaraenisepo pẹ bi ColBERT ti o tọju awọn olutọpa-ami fun ibaramu ti o dara julọ, ati awọn ifibọ aifwy ẹkọ ti o ni ibamu si ọpọlọpọ awọn iṣẹ-ṣiṣe. Reti din owo, multilingual, ati ki o gun-o tọ encoders, pẹlu tighter àjọ-ikẹkọ ti retrievers pẹlu awọn monomono ti won sin.
Real-World imuse
Awọn ọna ṣiṣe idahun ibeere agbegbe-ṣii ti o fa atilẹyin awọn ọrọ Wikipedia ṣaaju ki LLM kan kọ idahun naa
Ṣiṣawari iwe ile-iṣẹ ile-iṣẹ nibiti awọn oṣiṣẹ beere awọn ibeere adayeba ati gba awọn paragi ti o yẹ paapaa laisi awọn koko-ọrọ gangan
Awọn bot atilẹyin alabara ti n gba nkan ti aarin iranlọwọ ti o tọ lati inu ẹdun asọye
Imupadabọ-imurasilẹ chatbots awọn idahun ilẹ ni ipilẹ imọ ikọkọ lati dinku hallucination
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Dense Passage Retrieval quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Igbapada Ibaraẹnisọrọ pẹ ColBERT
Awọn ibeere ti a beere nigbagbogbo
What is Dense Passage Retrieval?
Imupadabọ Irin-ajo Dense (DPR) wa ọrọ ti o baamu nipa ifiwera itumọ ibeere kan ati awọn ọrọ bi awọn onipin oni nọmba, kii ṣe awọn ọrọ ti o baamu. O ṣe pataki nitori pe o le gba awọn idahun ti o pe pada paapaa nigbati ibeere ati iwe naa ba pin awọn fokabulari odo.
Kini ero pataki ti o wa lẹhin Ipadabọ Irin-ajo Ipon?
Awọn maapu DPR mejeeji awọn ibeere ati awọn ọna sinu awọn ipadanu ipon ati wiwọn ibaramu nipasẹ ibajọra wọn (ọja aami), yiya itumo kuku ju agbekọja ọrọ lọ.
DPR nlo faaji 'bi-encoder' kan. Kí ni ìyẹn túmọ̀ sí?
Ayipada-ipamọ meji ni awọn koodu koodu ominira fun awọn ibeere ati awọn ọrọ, nitorinaa awọn ọna ipa ọna le ti ṣe iṣiro tẹlẹ ati atọka ṣaaju akoko.
Kilode ti a le ṣe iṣiro awọn olutọpa aye ni ilosiwaju ni DPR?
Niwọn igba ti koodu koodu ko dale lori ibeere naa, gbogbo awọn ifibọ aye le jẹ ti iṣaju ati fipamọ, fifi ibeere nikan silẹ lati fi koodu sii ni akoko wiwa.
Ẹtan ikẹkọ wo ni o jẹ ki DPR ṣe agbekalẹ ọpọlọpọ awọn apẹẹrẹ odi ni olowo poku?
Awọn odi-ipele toju awọn ọrọ miiran ni ipele-kekere bi awọn odi fun ibeere ti a fifun, ti n ṣe agbejade ọpọlọpọ awọn orisii iyatọ daradara.
Ohun elo wo ni a nlo nigbagbogbo lati jẹ ki wiwa DPR agbegbe ti o sunmọ julọ ni iyara ni iwọn?
Awọn atọka fekito bii FAISS ṣe wiwa isunmọ-isunmọ ni iyara lori awọn miliọnu awọn ifisinu aye ti a ti ṣaju.