LegközelebbKövetkező útmutató
Ajánlórendszerek értékelése: NDCG, találati arány és egyebek
Műszaki
Műszaki ÚTMUTATÓ
A VBench egy benchmark csomag szöveg-videó modellekhez.
Hallgassa meg ezt az útmutatótAI-narrált · ~3 min
A videó minőségét 16 különálló dimenzióra osztja fel, például a téma konzisztenciájára, a mozgás simaságára, a dinamikus mértékre és az esztétikai minőségre, és mindegyiket egy dedikált automatikus kiértékelővel pontozza. Ez azért fontos, mert egyetlen szám nem tudja megmutatni, hogy egy videó éles, sima, hűséges-e a felszólításhoz és valóban mozgó-e, és a VBench láthatóvá teszi ezeket a kompromisszumokat.
A VBench-et 2023 végén mutatták be a Nanyang Technological University S-Lab és a Shanghai AI Laboratory kutatói, és a CVPR 2024 kiállításon mutatták be. Alapötlete a dekompozíció. Egyetlen pontszám helyett, mint például az FVD (Frechet Video Distance), 16 dimenziót mér két családba csoportosítva. A videó minőségi méretei magát a klipet ítélik meg, függetlenül a felszólítástól: a téma konzisztenciája, a háttér konzisztenciája, az időbeli villogás, a mozgás simasága, a dinamikus mérték, az esztétikai minőség és a képminőség. A videófeltételek konzisztenciájának dimenziói azt ítélik meg, hogy a videó mennyire követi a felszólítását: objektumosztály, több objektum, emberi cselekvés, szín, térbeli kapcsolat, jelenet, megjelenési stílus, időbeli stílus és általános konzisztencia. Minden dimenziónak megvan a saját azonnali csomagja és egy speciális értékelő, általában egy meglévő látásmodell. A téma konzisztenciája összehasonlítja a DINO jellemzőit a keretek között. A háttér konzisztenciája a CLIP szolgáltatásokat használja. A dinamikus fokozat optikai áramlást használ. Az esztétikai és képalkotási minőség tanult minőség-előrejelzőket, az objektum- és színellenőrzés pedig észlelési vagy feliratozási modelleket használ. A szerzők minden dimenzióhoz összegyűjtötték az emberi preferencia annotációit, és arról számoltak be, hogy az automatikus pontszámok jól egyeznek velük. A bontás olyan kompromisszumokat tár fel, amelyeket a teljesség elrejt. Egy majdnem lefagyott videó nagyon jó pontszámot érhet el a konzisztencia és a simaság tekintetében, míg a dinamikus fokon gyengébb pontszámot érhet el, így csak az átlag olvasása jutalmazhatja a félénk modelleket. A VBench összértéke nem a videomodellek teljes rangsora; tükrözi a kiválasztott felszólításokat, értékelőket és súlyokat. A későbbi munkák kibővítették a lakosztályt. A VBench++ kép-videó és megbízhatósági értékelést adott, a VBench-2.0 pedig olyan mélyebb tulajdonságokat céloz meg, mint a fizika, a józan ész és az emberi anatómia. A nyilvános színterek, ahol az emberek ugyanabból a promptból származó két névtelen klip között szavaznak, általános preferenciákat rögzítenek, beleértve az olyan tulajdonságokat, mint a fizikailag elfogadható mozgás, amelyet az automatizált értékelők még nem mérnek megbízhatóan.
Egy nyitott videomodellt kiadó labor jelenti a VBench teljes értékét és a dimenziónkénti bontást. A bontás azt mutatja, hogy a képminőség tekintetében vezet, de a dinamikus fokon.
Egy fejlesztő összehasonlítja a mintavevő két beállítását, és úgy találja, hogy kevesebb lépés használata csökkenti a mozgás simaságát és az időbeli villogás pontszámát. Ez határozza meg a sebesség és a minőség közötti választást.
A videós API-kat listázó termékcsapat a VBench számokat egy nyilvános emberszavazási arénából származó eredményekkel kombinálja, mivel a felhasználókat leginkább a valósághű fizika és az emberek érdeklik.
Egy kutató azt látja, hogy egy modell nagyon magas pontszámot ér el a téma és a háttér konzisztenciájában, miközben szinte statikus klipeket készít. Ellenőrzik a dinamikus fokdimenziót, hogy megerősítsék.
A videó kiértékelése a felületminőségről a felé halad, hogy a létrehozott világok hihetően viselkednek-e: szilárdan maradó tárgyak, működő gravitáció és megfelelő számú ujjat megtartó kezek. Az olyan benchmarkok, mint a VBench-2.0 és a fizika-központú tesztkészletek ezt célozzák, gyakran multimodális nyelvi modellekkel bíróként, ami új kérdéseket vet fel azzal kapcsolatban, hogy mennyire megbízhatóak ezek a bírák. A hosszabb klipekhez, a hanghoz és a kameravezérléshez olyan mutatók is szükségesek, amelyeket a jelenlegi csomagok csak részben fednek le. Az emberi színterek valószínűleg továbbra is fontosak maradnak, mivel az általános preferenciákat megragadják, de költségesek, érzékenyek a bemutatásra és nehezen reprodukálhatók, így a mező valószínűleg továbbra is mindkét megközelítést alkalmazza.
Ingyenes hírlevél
Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.
Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.
Teszteld magad
Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.
Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt
A VBench egy benchmark csomag szöveg-videó modellekhez. A videó minőségét 16 különálló dimenzióra osztja fel, például a téma konzisztenciájára, a mozgás simaságára, a dinamikus mértékre és az esztétikai minőségre, és mindegyiket egy dedikált automatikus kiértékelővel pontozza. Ez azért fontos, mert egyetlen szám nem tudja megmutatni, hogy egy videó éles, sima, hűséges-e a felszólításhoz és valóban mozgó-e, és a VBench láthatóvá teszi ezeket a kompromisszumokat.
A VBench a videógenerálás minőségét 16 dimenzióra osztja, amelyeket a videó minősége és a videofeltételek konzisztenciája szerint csoportosít.
A dinamikus fok optikai áramlást használ annak mérésére, hogy egy videó mennyi mozgást tartalmaz. A kimerevített klip itt még akkor is alacsony pontszámot ér el, ha a konzisztencia tekintetében magas pontszámot ér el.
A téma konzisztenciája összehasonlítja a téma DINO-jellemzőit a képkockákon keresztül, hogy ellenőrizze, ugyanaz a megjelenése.
A videó minőségi dimenziói a felszólítástól függetlenül ítélik meg a klipet, míg a videó állapotának konzisztenciájának dimenziói azt ítélik meg, hogy a videó mennyire követi a felszólítást.
A teljes átlagos dimenziók, amelyek egymással szemben állnak. A nagy konzisztencia elrejti az alacsony mozgást, így a dimenziónkénti eredmények számítanak.
Tanulj tovább
További útmutatók készültek ehhez a témához
LegközelebbKövetkező útmutató
Ajánlórendszerek értékelése: NDCG, találati arány és egyebek
Műszaki