LegközelebbKövetkező útmutató
ROUGE és BLEU értékelési metrikák
Műszaki
Műszaki ÚTMUTATÓ
A BERTScore azt méri, hogy a gép által generált szöveg mennyire illeszkedik egy hivatkozáshoz, a jelentést, nem pedig a pontos szavakat hasonlítja össze.
Hallgassa meg ezt az útmutatótAI-narrált · ~2 min
Kijavítja a régebbi mutatók alapvető holtfoltját, amelyek büntetik az érvényes parafrázisokat.
A BERTScore úgy értékeli a generált szöveget (fordítások, összefoglalók, feliratok), hogy minden tokent beágyaz egy kontextuális modellbe, mint például a BERT vagy a RoBERTa, majd a jelölt tokeneket koszinuszos hasonlóság alapján egyezteti a referencia tokenekkel. A régebbi mutatók, például a BLEU és a ROUGE átfedő n-grammokat számolnak, így a „macska a szőnyegen” és a „macska a szőnyeg tetején ül” nullához közelít, annak ellenére, hogy jelentése azonos. A BERTScore ehelyett a mohó token-illesztést számítja ki, majd aggregálja a pontosságot, a visszahívást és az F1-et. Mivel a beágyazások kontextuálisak, ugyanaz a szó különböző mondatokban különböző vektorokat kap, árnyalatokat rögzítve. Sokkal jobban korrelál az emberi minőségi megítélésekkel, különösen a folyékony parafrázisok esetében, ezért vált szabványos szemantikai értékelési eszközzé 2019-es bevezetése után.
Gépi fordítórendszerek pontozása, ahol az érvényes megfogalmazás eltérő, ezért a BLEU méltánytalanul bünteti a helyes parafrázisokat
Absztrakt összefoglalók értékelése, amelyek a forrástartalmat új szavakkal írják le, nem pedig kifejezéseket
Képaláírási modellek összehasonlító értékelése, ahol sok gördülékeny felirat írja le ugyanazt a képet
A chatbot vagy a minőségbiztosítási válaszok összehasonlítása az arany válaszokkal, ha a megfogalmazás eltérő, de a jelentés azonos
A szemantikus értékelés a tanult és LLM-alapú bírák felé tolódik el, akik a jelképes hasonlóságon túl a tényszerűséget, a koherenciát és a segítőkészséget értékelik. A BERTScore továbbra is egy gyors, reprodukálható alapvonal, de az olyan újabb megközelítések, mint a BLEURT, a COMET és az „LLM-as-judge” minősítés olyan tulajdonságokat rögzítenek, mint a hallucinált tények, amelyeket a BERTScore hiányol. Hibrid csővezetékekre számítsanak: olcsó beágyazási mérőszámok a nagyszabású átvilágításhoz, a drágább modellalapú bírálókkal a végső, nagy téttel bíró értékeléshez.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A BERTScore azt méri, hogy a gép által generált szöveg mennyire illeszkedik egy hivatkozáshoz, a jelentést, nem pedig a pontos szavakat hasonlítja össze. Kijavítja a régebbi mutatók alapvető holtfoltját, amelyek büntetik az érvényes parafrázisokat.
A BLEU és a ROUGE n-grammban számol átfedésben, így a jelentésmegőrző parafrázisok különböző szavakkal még akkor is gyengén teljesítenek, ha helyesek.
A BERTScore beágyazza a tokeneket egy olyan modellbe, mint a BERT, és a vektortérben a koszinusz hasonlóság segítségével hasonlítja össze őket.
A kontextuális modellek ugyanarra a szóra különböző kontextusokban különböző beágyazásokat készítenek, megragadva a jelentésárnyalatokat.
A BERTScore a tokenillesztést precíziós, felidézési és kombinált F1-pontszámmá összesíti.
Az inverz dokumentumgyakoriság csökkenti az olyan gyakori szavak befolyását, mint a „the”, amelyeknek kevés jelentése van.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
ROUGE és BLEU értékelési metrikák
Műszaki