Up tókànItọsọna atẹle
ROUGE ati BLEU Igbelewọn Metiriki
Imọ-ẹrọ
Imọ Itọsọna
BERTScore ati Iṣiro Itumọ
BERTScore ṣe iwọn bawo ni ọrọ ti a ṣejade ẹrọ daradara ṣe baamu itọkasi kan nipa ifiwera itumọ, kii ṣe awọn ọrọ gangan.
Gbọ si itọsọna yiiAI-ṣe afihan · ~2 min
Lori iwe yi2 min ka
Akopọ
It fixes a core blind spot of older metrics that punish valid paraphrases.
Jin Dive
BERTScore ṣe iṣiro ọrọ ti ipilẹṣẹ (awọn itumọ, awọn akopọ, awọn akọle) nipa ifibọ gbogbo awọn ami-ami pẹlu awoṣe ọrọ-ọrọ bi BERT tabi RoBERTa, lẹhinna ibaamu awọn ami oludije si awọn ami itọkasi nipasẹ ibajọra cosine. Awọn metiriki agbalagba bii BLEU ati ROUGE ka awọn giramu agbekọja, nitorinaa 'ologbo wa lori akete' ati 'feline kan joko ni oke rogi' Dimegilio nitosi odo laibikita itumọ kanna. BERTScore dipo ṣe iṣiro ibaramu tokini ojukokoro, lẹhinna ṣajọpọ sinu pipe, iranti, ati F1. Nitori awọn ifibọ ni o wa contextual, ọrọ kanna ni orisirisi awọn gbolohun ọrọ n ni orisirisi awọn fekito, yiya nuance. O ni ibamu dara julọ pẹlu awọn idajọ didara eniyan, pataki fun awọn alaye asọye, eyiti o jẹ idi ti o fi di ohun elo igbelewọn atunmọ boṣewa lẹhin ifihan 2019 rẹ.
Real-World imuse
Ifimaaki ẹrọ-awọn ọna ṣiṣe itumọ nibiti awọn ọrọ ti o wulo yatọ, nitorinaa BLEU ni aiṣedeede jiya awọn asọye ti o pe
Ṣiṣayẹwo awọn akopọ abstractive ti o ṣe atunṣe akoonu orisun ni awọn ọrọ titun dipo didakọ awọn gbolohun ọrọ
Awọn awoṣe ifori aworan-aṣepari nibiti ọpọlọpọ awọn ifori didan ṣe apejuwe aworan kanna
Ifiwera chatbot tabi awọn idahun QA lodi si awọn idahun goolu nigbati awọn gbolohun ọrọ yato ṣugbọn itumọ jẹ aami kanna
Ojo iwaju ti BERTScore ati Iṣiro Itumọ
Igbelewọn atunmọ n yi lọ si ọna ikẹkọ ati awọn onidajọ ti o da lori LLM ti o ṣe ayẹwo otitọ, isokan, ati iranlọwọ ti o kọja ibajọra tokini. BERTScore maa wa ni iyara, ipilẹ ti o le ṣe atunṣe, ṣugbọn awọn isunmọ tuntun bii BLEURT, COMET, ati 'LLM-bi-adajọ' awọn agbara imudara imudara awọn agbara BERTScore padanu, gẹgẹbi awọn ododo alakan. Reti awọn opo gigun ti arabara: awọn metiriki ifibọ olowo poku fun ibojuwo iwọn nla, pẹlu awọn adajọ ti o da lori awoṣe gbowolori diẹ sii ti o wa ni ipamọ fun ipari, igbelewọn awọn ipin giga.
Fifi o sinu iwa
Kini idi ti o ṣe pataki
- Iye owo ati isuna. Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
- Awọn ipinnu diẹ sii. Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
- Iṣakoso didara. Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ṣọra fun
- Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
- Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
- Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Next awọn igbesẹ
- Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
- Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
- Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
- Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Ìwé ìròyìn ọfẹ
Gba ìkànìyàn AI ojoojúmọ́
Ìtàn AI mẹta tó jẹ́rìí ní gbogbo owurọ́ ọjọ́ iṣẹ́, kọ́wé ní Gẹ̀ẹ́sì tó rọrùn. Ọfẹ́ fún gbogbo àkókò, kò sí ìpolówó.
Ìmeèlì kan ní gbogbo ọjọ́ iṣẹ́. Yọkúrò ní ìkànìyàn ní ìkànìyàn kan. A kò ta tàbí pín àdírẹ́sì rẹ.
Ṣe idanwo fun ara rẹ
Take the BERTScore and Semantic Evaluation quiz
Ìdáhùn lẹ́sẹ̀kẹsẹ̀ lórí gbogbo ìdáhùn, àti iwe-ẹ̀rí tó lè pin pẹ̀lú ID tó lè jẹ́rìí lẹ́yìn tí o bá kọ́ ẹ̀kọ́.
Ṣe àtìlẹ́yìn ẹ̀kọ́ AI ọfẹ́. AI Understanding jẹ́ àjọ àìní èrè 501(c)(3) — kò sí ìpolówó, kò sí àkúnya owó, ní gbogbo àkókò. Ṣe ẹbun kan
Awọn ibeere ti a beere nigbagbogbo
What is BERTScore and Semantic Evaluation?
BERTScore ṣe iwọn bawo ni ọrọ ti a ṣejade ẹrọ daradara ṣe baamu itọkasi kan nipa ifiwera itumọ, kii ṣe awọn ọrọ gangan. O ṣe atunṣe aaye afọju mojuto ti awọn metiriki agbalagba ti o jẹ ijiya awọn asọye to wulo.
Kini ailera pataki ti BLEU ati ROUGE ṣe adirẹsi BERTScore?
BLEU ati ROUGE ka n-gram ni lqkan, nitorinaa awọn asọye-itumọ titọju pẹlu awọn ọrọ oriṣiriṣi ṣe iṣiro ti ko dara paapaa nigba ti o tọ.
Bawo ni BERTScore ṣe pinnu pe awọn ami meji jẹ iru?
BERTScore ṣe ifibọ awọn ami pẹlu awoṣe bii BERT ati ṣe afiwe wọn nipa lilo ibajọra cosine ni aaye fekito.
Kini o tumọ si pe awọn ifibọ BERTScore jẹ 'contextual'?
Awọn awoṣe asọye ṣe agbejade awọn ifibọ oriṣiriṣi fun ọrọ kanna ni awọn aaye oriṣiriṣi, yiya iyatọ itumo.
Awọn iye mẹta wo ni BERTScore ṣe ijabọ?
BERTScore akopọ tokini ti o baamu ni pipe, iranti, ati Dimegilio F1 apapọ kan.
Kini idi ti iwuwo IDF iyan ni BERTScore?
Igbohunsafẹfẹ iwe onidakeji din ipa ti awọn ọrọ loorekoore bii 'awọn' ti o gbe itumo kekere.
Tesiwaju kikọ
Jẹmọ awọn itọsọna
Awọn itọsọna diẹ sii ti a yan fun koko yii