Műszaki ÚTMUTATÓ

AI videógenerátorok értékelése VBench segítségével

A VBench egy benchmark csomag szöveg-videó modellekhez.

Hallgassa meg ezt az útmutatótAI-narrált · ~3 min

Ezen az oldalon3 perc olvasás
  1. Áttekintés
  2. Mély merülés
  3. Valós megvalósítás
  4. Az AI-videógenerátorok VBench segítségével történő értékelésének jövője
  5. A gyakorlatba ültetés
  6. Folytassa a felfedezést
  7. Gyakran ismételt kérdések

Áttekintés

A videó minőségét 16 különálló dimenzióra osztja fel, például a téma konzisztenciájára, a mozgás simaságára, a dinamikus mértékre és az esztétikai minőségre, és mindegyiket egy dedikált automatikus kiértékelővel pontozza. Ez azért fontos, mert egyetlen szám nem tudja megmutatni, hogy egy videó éles, sima, hűséges-e a felszólításhoz és valóban mozgó-e, és a VBench láthatóvá teszi ezeket a kompromisszumokat.

Mély merülés

A VBench-et 2023 végén mutatták be a Nanyang Technological University S-Lab és a Shanghai AI Laboratory kutatói, és a CVPR 2024 kiállításon mutatták be. Alapötlete a dekompozíció. Egyetlen pontszám helyett, mint például az FVD (Frechet Video Distance), 16 dimenziót mér két családba csoportosítva. A videó minőségi méretei magát a klipet ítélik meg, függetlenül a felszólítástól: a téma konzisztenciája, a háttér konzisztenciája, az időbeli villogás, a mozgás simasága, a dinamikus mérték, az esztétikai minőség és a képminőség. A videófeltételek konzisztenciájának dimenziói azt ítélik meg, hogy a videó mennyire követi a felszólítását: objektumosztály, több objektum, emberi cselekvés, szín, térbeli kapcsolat, jelenet, megjelenési stílus, időbeli stílus és általános konzisztencia. Minden dimenziónak megvan a saját azonnali csomagja és egy speciális értékelő, általában egy meglévő látásmodell. A téma konzisztenciája összehasonlítja a DINO jellemzőit a keretek között. A háttér konzisztenciája a CLIP szolgáltatásokat használja. A dinamikus fokozat optikai áramlást használ. Az esztétikai és képalkotási minőség tanult minőség-előrejelzőket, az objektum- és színellenőrzés pedig észlelési vagy feliratozási modelleket használ. A szerzők minden dimenzióhoz összegyűjtötték az emberi preferencia annotációit, és arról számoltak be, hogy az automatikus pontszámok jól egyeznek velük. A bontás olyan kompromisszumokat tár fel, amelyeket a teljesség elrejt. Egy majdnem lefagyott videó nagyon jó pontszámot érhet el a konzisztencia és a simaság tekintetében, míg a dinamikus fokon gyengébb pontszámot érhet el, így csak az átlag olvasása jutalmazhatja a félénk modelleket. A VBench összértéke nem a videomodellek teljes rangsora; tükrözi a kiválasztott felszólításokat, értékelőket és súlyokat. A későbbi munkák kibővítették a lakosztályt. A VBench++ kép-videó és megbízhatósági értékelést adott, a VBench-2.0 pedig olyan mélyebb tulajdonságokat céloz meg, mint a fizika, a józan ész és az emberi anatómia. A nyilvános színterek, ahol az emberek ugyanabból a promptból származó két névtelen klip között szavaznak, általános preferenciákat rögzítenek, beleértve az olyan tulajdonságokat, mint a fizikailag elfogadható mozgás, amelyet az automatizált értékelők még nem mérnek megbízhatóan.

Valós megvalósítás

Egy nyitott videomodellt kiadó labor jelenti a VBench teljes értékét és a dimenziónkénti bontást. A bontás azt mutatja, hogy a képminőség tekintetében vezet, de a dinamikus fokon.

Egy fejlesztő összehasonlítja a mintavevő két beállítását, és úgy találja, hogy kevesebb lépés használata csökkenti a mozgás simaságát és az időbeli villogás pontszámát. Ez határozza meg a sebesség és a minőség közötti választást.

A videós API-kat listázó termékcsapat a VBench számokat egy nyilvános emberszavazási arénából származó eredményekkel kombinálja, mivel a felhasználókat leginkább a valósághű fizika és az emberek érdeklik.

Egy kutató azt látja, hogy egy modell nagyon magas pontszámot ér el a téma és a háttér konzisztenciájában, miközben szinte statikus klipeket készít. Ellenőrzik a dinamikus fokdimenziót, hogy megerősítsék.

Az AI-videógenerátorok VBench segítségével történő értékelésének jövője

A videó kiértékelése a felületminőségről a felé halad, hogy a létrehozott világok hihetően viselkednek-e: szilárdan maradó tárgyak, működő gravitáció és megfelelő számú ujjat megtartó kezek. Az olyan benchmarkok, mint a VBench-2.0 és a fizika-központú tesztkészletek ezt célozzák, gyakran multimodális nyelvi modellekkel bíróként, ami új kérdéseket vet fel azzal kapcsolatban, hogy mennyire megbízhatóak ezek a bírák. A hosszabb klipekhez, a hanghoz és a kameravezérléshez olyan mutatók is szükségesek, amelyeket a jelenlegi csomagok csak részben fednek le. Az emberi színterek valószínűleg továbbra is fontosak maradnak, mivel az általános preferenciákat megragadják, de költségesek, érzékenyek a bemutatásra és nehezen reprodukálhatók, így a mező valószínűleg továbbra is mindkét megközelítést alkalmazza.

A gyakorlatba ültetés

Miért számít

  • Költség és költségvetés. Az építészeti döntések évekig növelik a teljesítményt és a működési költségeket.
  • Tisztább döntések. A technikai oktatás segít a csapatoknak a megfelelő verem kiválasztásában, nem csak a legújabb készletben.
  • Minőségellenőrzés. A jobb mérnöki döntések csökkentik a termelés megbízhatósági incidenseit.

Vigyázz

  • Egy benchmark optimalizálása elrejtheti a rendszer általános hiányosságait.
  • Az infrastrukturális és karbantartási költségeket gyakran alábecsülik.
  • A biztonsági és megfigyelhetőségi hiányosságok a rendszerek bonyolultabbá válásával nőhetnek.

Következő lépések

  1. Határozza meg a késleltetési, minőségi és költségcélokat a megvalósítás előtt.
  2. Benchmark reális terhelési és adatviszonyok mellett.
  3. Műszerfigyelés a hibák, az eltolódás és a felhasználói hatások szempontjából.
  4. A méretezés előtt készítse elő a visszagörgetési és az incidensre adott válaszútvonalakat.

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Take the Evaluating AI Video Generators with VBench quiz

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az AI videógenerátorok értékelése a VBench segítségével?

A VBench egy benchmark csomag szöveg-videó modellekhez. A videó minőségét 16 különálló dimenzióra osztja fel, például a téma konzisztenciájára, a mozgás simaságára, a dinamikus mértékre és az esztétikai minőségre, és mindegyiket egy dedikált automatikus kiértékelővel pontozza. Ez azért fontos, mert egyetlen szám nem tudja megmutatni, hogy egy videó éles, sima, hűséges-e a felszólításhoz és valóban mozgó-e, és a VBench láthatóvá teszi ezeket a kompromisszumokat.

Hány kiértékelési dimenziót határoz meg az eredeti VBench?

A VBench a videógenerálás minőségét 16 dimenzióra osztja, amelyeket a videó minősége és a videofeltételek konzisztenciája szerint csoportosít.

Melyik dimenzió árulkodik arról, hogy egy modell csaknem statikus videókat készít?

A dinamikus fok optikai áramlást használ annak mérésére, hogy egy videó mennyi mozgást tartalmaz. A kimerevített klip itt még akkor is alacsony pontszámot ér el, ha a konzisztencia tekintetében magas pontszámot ér el.

Mit használ a VBench a téma konzisztenciájának mérésére a képkockákon keresztül?

A téma konzisztenciája összehasonlítja a téma DINO-jellemzőit a képkockákon keresztül, hogy ellenőrizze, ugyanaz a megjelenése.

Melyik két család csoportosítja a VBench méreteit?

A videó minőségi dimenziói a felszólítástól függetlenül ítélik meg a klipet, míg a videó állapotának konzisztenciájának dimenziói azt ítélik meg, hogy a videó mennyire követi a felszólítást.

Miért lehet félrevezető csak a VBench összpontszámának olvasása?

A teljes átlagos dimenziók, amelyek egymással szemben állnak. A nagy konzisztencia elrejti az alacsony mozgást, így a dimenziónkénti eredmények számítanak.