Ce sa întâmplat
OpenArt, un startup de instrumente creative AI cu sediul în San Francisco, a lansat OpenArt Arena, o platformă publică de benchmarking concepută pentru a ajuta utilizatorii să aleagă cel mai bun model AI pentru anumite sarcini multimedia, mai degrabă decât să se bazeze pe un singur scor general. Platforma împarte clasamentele modelelor în panouri de utilizare pentru sarcini, inclusiv realizarea de filme, comerțul electronic, design grafic, design în mișcare, editare video și sincronizare buzelor. Utilizează evaluări oarbe pe perechi de la un grup de practicieni creativi și „facători de gust”, cumulând preferințele folosind modelul statistic Bradley-Terry. Rezultatele inițiale arată că Seedance 2.5 de la ByteDance conduce clasamentul video general, în timp ce Wan 3.0 de la Alibaba ocupă primul loc în editarea video. Pentru generarea de imagini, GPT Image 2 de la OpenAI este lider în design grafic și editare, în timp ce Seedream 5.0 Pro de la Alibaba se află în fruntea tabloului general de imagine. Compania intenționează să publice o parte din metodologia și seturile de prompturi, păstrând în același timp solicitările de evaluare active private pentru a preveni reglarea modelului.
OpenArt, co-fondat de foștii Googler Coco Mao și John Qiaois, a lansat OpenArt Arena pentru a răspunde la întrebarea care model AI este cel mai bun pentru anumite locuri de muncă media. Platforma oferă clasamente separate pentru generarea de imagini și videoclipuri, clasificate în funcție de cazuri de utilizare, cum ar fi realizarea de filme, comerțul electronic, designul grafic, designul în mișcare, editarea video și sincronizarea buzelor.
Procesul de analiză comparativă implică generarea de rezultate din seturi de prompte organizate pentru fiecare placă și prezentarea acestora evaluatorilor fără etichete de model. Judecătorii fac alegeri unul lângă altul, iar OpenArt agregează aceste preferințe folosind modelul statistic Bradley-Terry. Grupul de jurizare include un Consiliu de experți creativi cu practicieni numiți și un grup mai mare de aproximativ 800 până la 1.000 de „facători de gust” recrutați din utilizatori și comunități creative.
În clasamentul inițial, Seedance 2.5 de la ByteDance conduce clasamentul general cu un scor de 1.081, urmat de Wan 3.0 de Alibaba la 1.004 și Seedance 2.0 de la ByteDance cu 1.000. Seedance 2.5 se află, de asemenea, pe primul loc în film, design în mișcare și sincronizare buzelor, în timp ce Wan 3.0 este lider în editarea video, cu un scor de 1.034 în comparație cu 1.033 pentru Seedance 2.5.
Pentru generarea de imagini, rezultatele sunt mai fragmentate. GPT Image 2 de la OpenAI ocupă primul loc în design grafic și editare de imagini, în timp ce Seedream 5.0 Pro de la Alibaba este lider în imaginile orientate spre film și comerțul electronic. Seedream 5.0 Pro se află, de asemenea, în fruntea tabloului general de imagine, cu un scor de 1.010, puțin înaintea GPT Image 2. În special, Wan 3.0 de la Alibaba este singurul participant proeminent din top-trei descris ca open source, deși lansarea sa publică actuală nu include încă greutăți de model descărcabile pentru auto-găzduire.
OpenArt a declarat că va publica o parte a metodologiei și a setului de prompturi la lansare, dar va păstra unele solicitări de evaluare active private pentru a reduce riscul ca modelele să fie reglate la standardul de referință. Compania își propune ca Arena să devină un standard recunoscut al industriei pentru selectarea modelelor AI pentru munca creativă.
Detalii sursa: venturebeat.com ↗
De ce contează
Această lansare abordează un punct critic de durere pentru întreprinderi și echipele creative: dificultatea de a selecta modelul optim de inteligență artificială într-o piață în expansiune rapidă și fragmentată. Prin segmentarea performanței în funcție de funcție specifică, OpenArt Arena oferă mai multe îndrumări acționabile decât clasamentele generice, care pot ascunde punctele forte ale unui model în domenii de nișă. Acest lucru este deosebit de relevant pentru companiile care adoptă IA generativă, unde selecția modelului este adesea primul obstacol major. -ul evidențiază, de asemenea, compromisurile dintre modelele proprietare bazate pe API și opțiunile open-source, influențând deciziile privind rezidența datelor, costul și controlul implementării. Deși există criterii de referință similare, concentrarea OpenArt asupra fluxurilor de lucru creative granulare, specifice sarcinilor oferă o propunere de valoare distinctă pentru producția creativă profesională.
Lansarea OpenArt Arena oferă o abordare mai nuanțată a evaluării modelelor creative de inteligență artificială, concentrându-se pe anumite funcții de muncă, mai degrabă decât pe un singur scor general. Acest lucru este semnificativ pentru întreprinderi și echipele creative care trebuie să direcționeze sarcini specifice de producție către cel mai capabil model, deoarece un model puternic într-un domeniu poate să nu fie cel mai bun în altul.
-ul evidențiază implicațiile practice ale selecției modelelor, inclusiv compromisurile dintre modelele proprietare bazate pe API și opțiunile open-source. De exemplu, în timp ce Seedance 2.5 de la ByteDance conduce în performanța video, este un model proprietar, în timp ce Wan 3.0 de la Alibaba este open source, dar nu are ponderi descărcabile pentru auto-găzduire. Această distincție afectează controlul implementării, rezidența datelor și costul total de proprietate pentru companii.
OpenArt Arena abordează o provocare comună pentru companiile care adoptă IA generativă: dificultatea de a alege modelul potrivit de pe o piață în expansiune rapidă. Oferind clasamente specifice sarcinilor, platforma oferă îndrumări acționabile care pot ajuta echipele creative să ia decizii în cunoștință de cauză și, potențial, să îmbunătățească eficiența și calitatea fluxurilor lor de producție asistate de AI.
-ul contribuie, de asemenea, la o conversație mai largă despre standardizarea evaluării AI. În timp ce alte platforme precum Contra Labs și Artificial Analysis oferă clasamente similare specifice sarcinilor, concentrarea OpenArt pe fluxurile de lucru creative granulare și integrarea sa cu o platformă creativă comercială îi poate oferi un avantaj competitiv pentru a deveni un standard industrial recunoscut pe scară largă.
Mecanism interactiv: cum funcționează de fapt
Explorați tehnologia care stau la baza acestei dezvoltări în mod interactiv.
Which component of an AI application is the machine-learning model itself?
Ce să urmărești în continuare
Monitorizați cum evoluează clasamentele OpenArt Arena pe măsură ce sunt lansate noi modele și dacă platforma devine un standard de facto al industriei pentru achizițiile creative de AI. Urmăriți publicarea metodologiei complete și a seturilor prompte, care vor permite verificarea independentă a rezultatelor. În plus, observați modul în care -uri concurente, cum ar fi Human Creativity Benchmark de la Contra Labs și Artificial Analysis' Image Arena, răspund la lansarea OpenArt, ceea ce poate duce la o abordare mai standardizată a evaluării capacităților creative AI.
Publicarea metodologiei complete și a seturilor prompte OpenArt va fi crucială pentru verificarea independentă a rezultatelor -ului. Transparența în procesul de evaluare va ajuta la construirea încrederii în rândul utilizatorilor și va asigura că clasamentele reflectă cu acuratețe performanța modelului.
Evoluția clasamentului OpenArt Arena pe măsură ce sunt lansate noi modele va fi un indicator important al relevanței și acurateței platformei. Monitorizarea modului în care clasamentele se schimbă în timp va oferi informații despre dezvoltarea rapidă a modelelor creative AI și eficacitatea punctului de referință în capturarea acestor schimbări.
Răspunsul din partea -urilor concurente, cum ar fi Human Creativity Benchmark de la Contra Labs și Artificial Analysis’ Image Arena, va fi semnificativ. Aceste platforme își pot ajusta metodologiile sau lansa noi funcții ca răspuns la lansarea OpenArt, ceea ce poate duce la o abordare mai standardizată și mai cuprinzătoare pentru evaluarea capacităților creative AI.
Adoptarea OpenArt Arena de către întreprinderi și profesioniști creativi va fi un indicator cheie al succesului său. Dacă platforma devine un instrument utilizat pe scară largă pentru selecția modelelor, ar putea influența dezvoltarea modelelor creative AI și strategiile furnizorilor de AI care caută să-și optimizeze performanța la .