Apa yang terjadi
OpenArt, startup perkakas AI kreatif yang berbasis di San Francisco, meluncurkan OpenArt Arena, sebuah platform benchmarking publik yang dirancang untuk membantu pengguna memilih model AI terbaik untuk pekerjaan multimedia tertentu daripada hanya mengandalkan satu skor keseluruhan. Platform ini membagi peringkat model ke dalam papan kasus penggunaan untuk tugas-tugas termasuk pembuatan film, e-commerce, desain grafis, desain gerak, pengeditan video, dan sinkronisasi bibir. Analisis ini menggunakan evaluasi blind pairwise dari sekelompok praktisi kreatif dan 'tastemaker', yang menggabungkan preferensi menggunakan model statistik Bradley-Terry. Hasil awal menunjukkan Seedance 2.5 dari ByteDance memimpin papan video secara keseluruhan, sementara Wan 3.0 dari Alibaba menempati peringkat pertama dalam pengeditan video. Untuk pembuatan gambar, GPT Image 2 dari OpenAI memimpin dalam desain grafis dan pengeditan, sementara Seedream 5.0 Pro dari Alibaba berada di puncak papan gambar secara keseluruhan. Perusahaan berencana untuk mempublikasikan sebagian metodologi dan rangkaian perintahnya sambil merahasiakan perintah evaluasi aktif untuk mencegah penyesuaian model.
OpenArt, yang didirikan bersama oleh mantan Googler Coco Mao dan John Qiaois, meluncurkan OpenArt Arena untuk menjawab pertanyaan tentang model AI mana yang terbaik untuk pekerjaan media tertentu. Platform ini memiliki papan peringkat terpisah untuk pembuatan gambar dan video, dikategorikan berdasarkan kasus penggunaan seperti pembuatan film, e-commerce, desain grafis, desain gerak, pengeditan video, dan sinkronisasi bibir.
Proses pembandingan melibatkan menghasilkan keluaran dari rangkaian cepat yang dikurasi untuk setiap dewan dan menyajikannya kepada evaluator tanpa label model. Juri membuat pilihan secara berdampingan, dan OpenArt menggabungkan preferensi ini menggunakan model statistik Bradley-Terry. Kelompok penjurian mencakup Dewan Pakar Kreatif yang terdiri dari para praktisi yang disebutkan namanya dan kelompok yang lebih besar yang terdiri dari sekitar 800 hingga 1.000 'pembuat selera' yang direkrut dari pengguna dan komunitas kreatif.
Pada peringkat video awal, Seedance 2.5 milik ByteDance memimpin peringkat keseluruhan dengan skor 1.081, diikuti oleh Wan 3.0 dari Alibaba dengan skor 1.004 dan Seedance 2.0 dari ByteDance dengan skor 1.000. Seedance 2.5 juga menempati peringkat pertama dalam film, desain gerak, dan sinkronisasi bibir, sedangkan Wan 3.0 memimpin tipis dalam pengeditan video dengan skor 1,034 dibandingkan dengan Seedance 2.5 yang memperoleh 1,033.
Untuk pembuatan gambar, hasilnya lebih terfragmentasi. GPT Image 2 dari OpenAI menempati peringkat pertama dalam desain grafis dan pengeditan gambar, sementara Seedream 5.0 Pro dari Alibaba memimpin dalam pencitraan berorientasi film dan e-commerce. Seedream 5.0 Pro juga menduduki puncak papan gambar secara keseluruhan dengan skor 1.010, sedikit di atas GPT Image 2. Khususnya, Wan 3.0 dari Alibaba adalah satu-satunya peserta tiga teratas yang digambarkan sebagai open source, meskipun rilis publiknya saat ini belum menyertakan bobot model yang dapat diunduh untuk hosting mandiri.
OpenArt menyatakan akan mempublikasikan sebagian dari metodologi dan set cepatnya saat peluncuran tetapi akan menjaga beberapa evaluasi aktif tetap bersifat pribadi untuk mengurangi risiko model disesuaikan dengan tolok ukur. Perusahaan ini bertujuan agar Arena menjadi standar industri yang diakui dalam memilih model AI untuk karya kreatif.
Detail sumber: venturebeat.com ↗
Mengapa itu penting
Peluncuran ini mengatasi permasalahan kritis bagi perusahaan dan tim kreatif: kesulitan memilih model AI yang optimal di tengah pasar yang berkembang pesat dan terfragmentasi. Dengan mengelompokkan kinerja berdasarkan fungsi pekerjaan tertentu, OpenArt Arena memberikan panduan yang lebih dapat ditindaklanjuti dibandingkan papan peringkat umum, yang mungkin mengaburkan kekuatan model di area khusus. Hal ini sangat relevan bagi bisnis yang mengadopsi AI generatif, di mana pemilihan model sering kali menjadi tantangan besar pertama. Tolok ukur ini juga menyoroti trade-off antara model berbasis API eksklusif dan opsi sumber terbuka, yang memengaruhi keputusan mengenai residensi data, biaya, dan kontrol penerapan. Meskipun ada tolok ukur serupa, fokus OpenArt pada alur kerja kreatif yang terperinci dan spesifik tugas menawarkan proposisi nilai yang berbeda untuk produksi kreatif profesional.
Peluncuran OpenArt Arena memberikan pendekatan yang lebih bernuansa untuk mengevaluasi model materi iklan AI dengan berfokus pada fungsi pekerjaan tertentu, bukan pada skor keseluruhan tunggal. Hal ini penting bagi perusahaan dan tim kreatif yang perlu mengarahkan tugas produksi tertentu ke model yang paling mampu, karena model yang kuat di satu bidang mungkin bukan yang terbaik di bidang lain.
Tolok ukur ini menyoroti implikasi praktis dari pemilihan model, termasuk trade-off antara model berbasis API eksklusif dan opsi sumber terbuka. Misalnya, meskipun Seedance 2.5 dari ByteDance memimpin dalam performa video, model ini merupakan model proprietary, sedangkan Wan 3.0 dari Alibaba bersifat open source namun tidak memiliki bobot yang dapat diunduh untuk hosting mandiri. Perbedaan ini memengaruhi kontrol penerapan, residensi data, dan total biaya kepemilikan untuk bisnis.
OpenArt Arena mengatasi tantangan umum bagi perusahaan yang mengadopsi AI generatif: kesulitan memilih model yang tepat dari pasar yang berkembang pesat. Dengan memberikan peringkat tugas tertentu, platform ini menawarkan panduan yang dapat ditindaklanjuti yang dapat membantu tim kreatif mengambil keputusan yang tepat dan berpotensi meningkatkan efisiensi dan kualitas alur kerja produksi mereka yang dibantu AI.
Tolok ukur ini juga berkontribusi pada pembahasan yang lebih luas tentang standardisasi evaluasi AI. Meskipun platform lain seperti Contra Labs dan Analisis Buatan menawarkan peringkat tugas spesifik yang serupa, fokus OpenArt pada alur kerja materi iklan yang granular dan integrasinya dengan platform materi iklan komersial dapat memberikan keunggulan kompetitif untuk menjadi standar industri yang diakui secara luas.
Mekanisme Interaktif: Cara Kerja Sebenarnya
Jelajahi teknologi yang mendasari di balik perkembangan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang harus ditonton selanjutnya
Pantau bagaimana peringkat OpenArt Arena berkembang seiring dengan dirilisnya model-model baru dan apakah platform tersebut menjadi standar industri de facto untuk pengadaan AI yang kreatif. Nantikan publikasi metodologi lengkap dan rangkaian cepatnya, yang memungkinkan verifikasi independen terhadap hasilnya. Selain itu, amati bagaimana tolok ukur yang bersaing seperti Human Creativity dari Contra Labs dan Image Arena dari Analisis Buatan merespons peluncuran OpenArt, yang berpotensi mengarah pada pendekatan yang lebih terstandarisasi untuk mengevaluasi kemampuan AI kreatif.
Publikasi metodologi lengkap dan rangkaian cepat OpenArt akan sangat penting untuk verifikasi independen terhadap hasil . Transparansi dalam proses evaluasi akan membantu membangun kepercayaan di antara pengguna dan memastikan bahwa peringkat mencerminkan kinerja model secara akurat.
Evolusi peringkat OpenArt Arena seiring dengan dirilisnya model-model baru akan menjadi indikator penting mengenai relevansi dan akurasi platform. Memantau perubahan peringkat dari waktu ke waktu akan memberikan wawasan tentang pesatnya perkembangan model materi iklan AI dan efektivitas tolok ukur dalam menangkap perubahan ini.
Respons dari tolok ukur yang bersaing, seperti Tolok Ukur Kreativitas Manusia dari Contra Labs dan Arena Gambar dari Analisis Buatan, akan sangat signifikan. Platform-platform ini mungkin menyesuaikan metodologinya atau meluncurkan fitur-fitur baru sebagai respons terhadap peluncuran OpenArt, yang berpotensi mengarah pada pendekatan yang lebih terstandarisasi dan komprehensif untuk mengevaluasi kemampuan AI kreatif.
Penerapan OpenArt Arena oleh perusahaan dan profesional kreatif akan menjadi indikator utama keberhasilannya. Jika platform ini menjadi alat yang banyak digunakan untuk pemilihan model, hal ini dapat memengaruhi pengembangan model kreatif AI dan strategi penyedia AI yang berupaya mengoptimalkan kinerja mereka pada .