Gbolohun-BERT Awọn ifibọ
Sentence-BERT (SBERT) ṣe deede BERT lati ṣe agbejade fekito-ipari gigun kan fun gbogbo gbolohun kan, nitorinaa itumọ le ṣe afiwe pẹlu ibajọra cosine iyara.
Akopọ
It made semantic search and clustering over millions of sentences practical, turning a job that took BERT hours into milliseconds.
Jin Dive
BERT pẹlẹbẹ le ṣe afiwe awọn gbolohun ọrọ meji fun ibajọra, ṣugbọn nipa ifunni mejeeji papọ nipasẹ nẹtiwọọki, eyiti o lọra pupọ ni iwọn: ifiwera awọn gbolohun ọrọ 10,000 ni ọna meji yoo nilo bii 50 million awọn gbigbe siwaju. Sentence-BERT, ti a ṣe ni ọdun 2019 nipasẹ Reimers ati Gurevych, ṣe atunṣe eyi nipa lilo nẹtiwọọki siamese (ibeji): awọn ile-iṣọ BERT meji pẹlu awọn iwuwo pinpin ọkọọkan ṣe koodu gbolohun kan ni ominira, lẹhinna igbesẹ apapọ kan (nigbagbogbo tumọ si ikojọpọ lori awọn ifibọ ami ami) n fun ni fekito kan fun gbolohun ọrọ. Awoṣe naa jẹ aifwy ti o dara tobẹẹ ti awọn gbolohun ọrọ ti o jọra ni itumọ ti sunmọ papọ ni aaye fekito. Bayi gbolohun kọọkan ti ni koodu lẹẹkan sinu ifibọ atunlo, ati ibajọra di ọja aami olowo poku, ṣiṣe wiwa, yiyọkuro, ati ikojọpọ ni iwọn nla.
Imọ-imọ-ẹrọ
SBERT jẹ ikẹkọ deede pẹlu faaji siamese ati iyatọ tabi ibi-afẹde mẹta. Awọn alaye Itọka Ede Adayeba jẹ wọpọ: awọn orisii entailment ni a fa papọ, awọn itakora ti ta sọtọ. Awọn ile-iṣọ meji pin awọn iwuwo, nitorina fifi koodu jẹ iṣiro. Itumọ ikojọpọ lori awọn fekito ami ti o kẹhin ni gbogbogbo bori ni lilo ami [CLS] nikan, ti n ṣe awọn ifisinu nibiti ibajọra cosine ṣe igbẹkẹle isunmọ atunmọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Gbolohun-BERT ifibọ
Awọn koodu koodu ara SBERT ni bayi ṣe atilẹyin iran imupadabọ-pada, fifun ọrọ ti o baamu si awọn awoṣe ede nla. Aaye naa n lọ si ọna itọnisọna ti o tobi ju-aifwy awọn awoṣe ifibọ, multilingual ati multimodal ifibọ, ati awọn aṣoju Matryoshka ti awọn iwọn rẹ le ti wa ni gedu fun iyara. Arabara pipelines so pọ sare bi-encoder igbapada pẹlu losokepupo agbelebu-apoti tun ipo, apapọ SBERT ká asekale pẹlu ga konge lori oke awọn oludije.
Real-World imuse
Awọn ẹrọ wiwa atunmọ ṣe ifibọ ibeere kan ati gbogbo awọn iwe aṣẹ, lẹhinna da awọn vectors ti o sunmọ julọ pada dipo gbigbekele agbekọja koko-ọrọ.
Awọn ọna ṣiṣe iran-pada-pada lo awọn ifibọ SBERT lati mu awọn ọrọ ti o yẹ wa si ilẹ awọn idahun chatbot kan.
Awọn irinṣẹ atilẹyin alabara n ṣajọpọ awọn tikẹti ti nwọle nipa fifi ibajọra si ẹda-ẹda ẹgbẹ tabi awọn ọran ti o jọmọ laifọwọyi.
Ile-ikawe Python-ayipada-ọrọ-ọrọ n pese awọn awoṣe SBERT ti a ti kọkọ tẹlẹ fun iwakusa atumọ ati yiyọkuro ọrọ isunmọ-isunmọ.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sentence-BERT Embeddings quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Awọn ifibọ iwe Hypothetical
Awọn ibeere ti a beere nigbagbogbo
What is Sentence-BERT Embeddings?
Sentence-BERT (SBERT) ṣe deede BERT lati ṣe agbejade fekito-ipari gigun kan fun gbogbo gbolohun kan, nitorinaa itumọ le ṣe afiwe pẹlu ibajọra cosine iyara. O ṣe wiwa atunmọ ati ikojọpọ lori awọn miliọnu awọn gbolohun ọrọ iwulo, titan iṣẹ kan ti o gba awọn wakati BERT sinu awọn iṣẹju-aaya.
Iṣoro pataki wo pẹlu BERT itele ti Sentence-BERT yanju?
BERT pẹlẹbẹ gbọdọ ṣe ilana awọn orisii awọn gbolohun ọrọ ni apapọ, nitorinaa afiwera-bi-nla ni aiṣe-iṣiro; SBERT ṣe koodu ọrọ kọọkan ni ẹẹkan sinu fekito atunlo.
Kini faaji nẹtiwọọki ti Sentence-BERT lo?
SBERT nlo eto siamese (ibeji) nibiti awọn koodu koodu BERT meji pin awọn iwuwo ati ọkọọkan ṣe ifibọ gbolohun kan ni ominira.
Iru ilana igbẹkẹgbẹ wo ni a ṣe iṣeduro julọ fun awọn ifibọ SBERT?
Itumọ ikojọpọ lori awọn adaṣe ami ti o kẹhin ni gbogbogbo bori ni lilo ami [CLS] nikan fun awọn ifibọ gbolohun ọrọ.
Ni kete ti awọn gbolohun ọrọ ti wa ni ifibọ, bawo ni a ṣe n ṣe iwọn ibajọra wọn deede?
Gbogbo aaye ti SBERT ni pe ibajọra dinku si afiwera ọja cosine/aami-ọja ti ko gbowolori laarin awọn adaṣe ti a ti ṣaju.
Iru dataset wo ni a lo nigbagbogbo lati ṣe atunṣe SBERT daradara?
Awọn data NLI ti wa ni lilo pupọ: awọn orisii entailment ni a fa papo ati awọn itakora ti a ya sọtọ, ti n ṣe aaye ifisinu ti o nilari.