PANDUAN AI Visual

Mengapa Video AI Mendapat Kesalahan Fizik

Video AI sering salah dari segi fizik kerana penjana mempelajari corak statistik tentang bagaimana piksel biasanya berubah dari masa ke masa, bukan peraturan jisim, daya dan perlanggaran.

Dengar panduan iniAI-diceritakan · ~3 min

Pada halaman ini4 minit membaca
  1. Gambaran keseluruhan
  2. Menyelam dalam
  3. Pelaksanaan Dunia Sebenar
  4. Masa Depan Mengapa Video AI Menjadi Salah Fizik
  5. Mempraktikkannya
  6. Teruskan Meneroka
  7. Soalan lazim

Gambaran keseluruhan

Mereka meniru rupa gerakan tanpa meniru apa yang menyebabkannya. Itulah sebabnya objek lenyap, cecair bertindak pelik, anggota badan melalui benda dan klip kekal pendek, dan ia penting bagi sesiapa yang cuba menilai sama ada rakaman itu benar atau menggunakan model ini untuk perancangan dan robotik.

Menyelam dalam

Video generators are trained on huge collections of footage to predict or denoise frames. The training objective rewards output that resembles real video. It does not reward output that obeys conservation of mass or momentum. Common physics, such as a ball falling or a person walking, is well represented in the data and usually looks right. Rare or complex events, such as glass shattering, a specific collision, or liquid pouring into an oddly shaped container, appear less often and are harder to learn. OpenAI's own technical material on Sora noted that it did not accurately model interactions like glass shattering. Object permanence is a memory problem. When something is hidden, the model has to carry its identity through frames where it is invisible. Models attend over a limited amount of context, so hidden objects can come back changed or not at all. Cause and effect is also weak: a bite, a spill or a dent should leave a lasting change, but the model may treat it as a passing visual event. Clip length is limited mainly by compute. A video is represented as spacetime tokens, and attention cost rises steeply as the token count grows, so many products generate seconds rather than minutes. Longer videos are often made by extending clips, which lets errors compound. A common misconception is that these models contain a physics engine. They do not, though they may pick up some implicit physical regularities. Researchers have built benchmarks such as Physics-IQ to test this and found that visually realistic output does not mean physical understanding. World-model research tries to close the gap: Google DeepMind's Genie line generates interactive environments, Meta's V-JEPA learns by predicting in an abstract representation space instead of pixels, and NVIDIA's Cosmos targets physical AI such as robotics.

Pelaksanaan Dunia Sebenar

Orang yang dijana menggigit kuki, tetapi selepas itu kuki itu tidak mempunyai tanda gigitan. OpenAI menamakan kegagalan seperti ini antara had Sora apabila ia melihat model pada tahun 2024.

Seekor anjing berjalan di belakang pokok dan keluar ke seberang dengan corak bulu yang berbeza, kerana model itu tidak menyimpan ingatan yang stabil tentang objek tersembunyi.

Kaki pelari kelihatan bertukar-tukar sisi di tengah-tengah langkah dan kaki meluncur di sepanjang tanah, yang menunjukkan model itu mempelajari rupa berlari, bukan daya sentuhan yang terlibat.

Bola keranjang melepasi rim, hilang seketika, dan muncul semula di tangan pemain, urutan yang kelihatan licin bingkai ke bingkai tetapi tidak masuk akal fizikal.

Masa Depan Mengapa Video AI Menjadi Salah Fizik

Kebolehpercayaan fizikal telah bertambah baik dengan skala dan data yang lebih baik, dan kemungkinan besar akan terus bertambah baik untuk adegan biasa. Kes yang lebih sukar, seperti sebab dan akibat ufuk panjang, interaksi yang jarang berlaku dan kekekalan objek yang boleh dipercayai merentas oklusi yang panjang, mungkin memerlukan perubahan seni bina seperti ingatan eksplisit, struktur 3D atau simulasi hibrid dan bukannya skala sahaja. Model dunia yang bertujuan untuk robotik dan persekitaran interaktif ialah kawasan penyelidikan yang aktif, dan penanda aras yang secara berasingan menguji realisme visual dan ketepatan fizikal akan membantu menunjukkan kemajuan sebenar. Tidak diselesaikan sama ada ramalan video tulen boleh mempelajari fizik yang mantap, dan penyelidik tidak bersetuju mengenainya.

Mempraktikkannya

Mengapa ia penting

  • Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
  • Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
  • Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.

Berhati-hati untuk

  • Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
  • Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
  • Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.

Langkah seterusnya

  1. Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
  2. Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
  3. Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
  4. Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.

Teruskan Meneroka

Newsletter percuma

Dapatkan taklimat AI harian

Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.

Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.

Uji diri anda

Ambil kuiz Mengapa Video AI Dapat Fizik Salah

Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.

Mulakan kuiz

Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma

Soalan lazim

Apakah Sebab Video AI Mendapat Salah Fizik?

Video AI menjadi salah fizik kerana penjana mempelajari corak statistik tentang cara piksel biasanya berubah dari semasa ke semasa, bukan peraturan jisim, daya dan perlanggaran. Mereka meniru rupa gerakan tanpa meniru apa yang menyebabkannya. Itulah sebabnya objek lenyap, cecair bertindak pelik, anggota badan melalui benda dan klip kekal pendek, dan ia penting bagi sesiapa yang cuba menilai sama ada rakaman itu benar atau menggunakan model ini untuk perancangan dan robotik.

Apakah yang diutamakan oleh objektif latihan penjana video biasa?

Model dilatih untuk meramal atau mengecilkan bingkai supaya output kelihatan seperti rakaman latihan. Ketepatan fizikal tidak diukur secara langsung.

Mengapakah peristiwa yang jarang berlaku seperti kaca pecah terutamanya sukar untuk model video?

Peristiwa yang tidak biasa dalam data dan kompleks fizikal memberikan model yang lebih sedikit contoh untuk dipelajari, jadi outputnya kurang dipercayai.

Panduan ini menerangkan kegagalan kekal objek terutamanya sebagai jenis masalah?

Untuk memastikan objek tersembunyi konsisten, model perlu membawa identitinya melalui bingkai yang tidak kelihatan, dan konteks terhad menjadikannya tidak boleh dipercayai.

Apakah sebab utama klip video AI selalunya hanya beberapa saat sahaja?

Lebih banyak bingkai bermakna lebih banyak token dan kos perhatian meningkat dengan pantas dengan kiraan token, jadi panjang dihadkan oleh pengiraan.

Pernyataan yang manakah menggambarkan salah tanggapan tentang penjana video?

Penjana video tidak mempunyai simulator fizik yang jelas. Mana-mana fizik yang mereka tunjukkan adalah tersirat dalam corak yang dipelajari.