Imọ Itọsọna

BERTScore ati Iṣiro Itumọ

BERTScore ṣe iwọn bawo ni ọrọ ti a ṣejade ẹrọ daradara ṣe baamu itọkasi kan nipa ifiwera itumọ, kii ṣe awọn ọrọ gangan.

2 min kakẹhin imudojuiwọn

Akopọ

It fixes a core blind spot of older metrics that punish valid paraphrases.

Jin Dive

BERTScore ṣe iṣiro ọrọ ti ipilẹṣẹ (awọn itumọ, awọn akopọ, awọn akọle) nipa ifibọ gbogbo awọn ami-ami pẹlu awoṣe ọrọ-ọrọ bi BERT tabi RoBERTa, lẹhinna ibaamu awọn ami oludije si awọn ami itọkasi nipasẹ ibajọra cosine. Awọn metiriki agbalagba bii BLEU ati ROUGE ka awọn giramu agbekọja, nitorinaa 'ologbo wa lori akete' ati 'feline kan joko ni oke rogi' Dimegilio nitosi odo laibikita itumọ kanna. BERTScore dipo ṣe iṣiro ibaramu tokini ojukokoro, lẹhinna ṣajọpọ sinu pipe, iranti, ati F1. Nitori awọn ifibọ ni o wa contextual, ọrọ kanna ni orisirisi awọn gbolohun ọrọ n ni orisirisi awọn fekito, yiya nuance. O ni ibamu dara julọ pẹlu awọn idajọ didara eniyan, pataki fun awọn alaye asọye, eyiti o jẹ idi ti o fi di ohun elo igbelewọn atunmọ boṣewa lẹhin ifihan 2019 rẹ.

Imọ-imọ-ẹrọ

Kọọkan aami n ni a contextual ifibọ; BERTScore ṣe agbero matrix ibajọra laarin oludije ati awọn ami itọkasi, lẹhinna fi ojukokoro ṣe ibaamu aami kọọkan si alabaṣepọ ibajọra rẹ ti o ga julọ. Ranti awọn ami ifọkasi awọn ibaamu si oludije, konge ibaamu itọsọna miiran, ati F1 darapọ wọn. Yiyan onidakeji-document-igbohunsafẹfẹ àdánù downweights wọpọ ọrọ bi 'awọn'. Awọn maaki nigbagbogbo jẹ iwọn si ipilẹ kan nitoribẹẹ awọn iye tan kaakiri iwọn lilo dipo ikojọpọ nitosi 0.85.

Ipa Ilana

Iye owo ati isuna

Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.

Awọn ipinnu diẹ sii

Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.

Iṣakoso didara

Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.

Ojo iwaju ti BERTScore ati Iṣiro Itumọ

Igbelewọn atunmọ n yi lọ si ọna ikẹkọ ati awọn onidajọ ti o da lori LLM ti o ṣe ayẹwo otitọ, isokan, ati iranlọwọ ti o kọja ibajọra tokini. BERTScore maa wa ni iyara, ipilẹ ti o le ṣe atunṣe, ṣugbọn awọn isunmọ tuntun bii BLEURT, COMET, ati 'LLM-bi-adajọ' awọn agbara imudara imudara awọn agbara BERTScore padanu, gẹgẹbi awọn ododo alakan. Reti awọn opo gigun ti arabara: awọn metiriki ifibọ olowo poku fun ibojuwo iwọn nla, pẹlu awọn adajọ ti o da lori awoṣe gbowolori diẹ sii ti o wa ni ipamọ fun ipari, igbelewọn awọn ipin giga.

Real-World imuse

Ifimaaki ẹrọ-awọn ọna ṣiṣe itumọ nibiti awọn ọrọ ti o wulo yatọ, nitorinaa BLEU ni aiṣedeede jiya awọn asọye ti o pe

Ṣiṣayẹwo awọn akopọ abstractive ti o ṣe atunṣe akoonu orisun ni awọn ọrọ titun dipo didakọ awọn gbolohun ọrọ

Awọn awoṣe ifori aworan-aṣepari nibiti ọpọlọpọ awọn ifori didan ṣe apejuwe aworan kanna

Ifiwera chatbot tabi awọn idahun QA lodi si awọn idahun goolu nigbati awọn gbolohun ọrọ yato ṣugbọn itumọ jẹ aami kanna

Awọn ewu & Awọn ọna iṣọ

Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.

Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.

Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.

Ilana Ilana imuse

1

Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.

2

Aṣepari labẹ ẹru ojulowo ati awọn ipo data.

3

Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.

4

Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.

Tesiwaju Ṣiṣawari

Free newsletter

Get the daily AI briefing

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the BERTScore and Semantic Evaluation quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

Bẹrẹ adanwo

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

Itọsọna atẹle

ROUGE ati BLEU Igbelewọn Metiriki

Awọn ibeere ti a beere nigbagbogbo

What is BERTScore and Semantic Evaluation?

BERTScore ṣe iwọn bawo ni ọrọ ti a ṣejade ẹrọ daradara ṣe baamu itọkasi kan nipa ifiwera itumọ, kii ṣe awọn ọrọ gangan. O ṣe atunṣe aaye afọju mojuto ti awọn metiriki agbalagba ti o jẹ ijiya awọn asọye to wulo.

Kini ailera pataki ti BLEU ati ROUGE ṣe adirẹsi BERTScore?

BLEU ati ROUGE ka n-gram ni lqkan, nitorinaa awọn asọye-itumọ titọju pẹlu awọn ọrọ oriṣiriṣi ṣe iṣiro ti ko dara paapaa nigba ti o tọ.

Bawo ni BERTScore ṣe pinnu pe awọn ami meji jẹ iru?

BERTScore ṣe ifibọ awọn ami pẹlu awoṣe bii BERT ati ṣe afiwe wọn nipa lilo ibajọra cosine ni aaye fekito.

Kini o tumọ si pe awọn ifibọ BERTScore jẹ 'contextual'?

Awọn awoṣe asọye ṣe agbejade awọn ifibọ oriṣiriṣi fun ọrọ kanna ni awọn aaye oriṣiriṣi, yiya iyatọ itumo.

Awọn iye mẹta wo ni BERTScore ṣe ijabọ?

BERTScore akopọ tokini ti o baamu ni pipe, iranti, ati Dimegilio F1 apapọ kan.

Kini idi ti iwuwo IDF iyan ni BERTScore?

Igbohunsafẹfẹ iwe onidakeji din ipa ti awọn ọrọ loorekoore bii 'awọn' ti o gbe itumo kekere.