SeterusnyaPanduan seterusnya
Mengapa Penjana Imej AI Silap Tangan
AI Visual
PANDUAN AI Visual
Video AI sering salah dari segi fizik kerana penjana mempelajari corak statistik tentang bagaimana piksel biasanya berubah dari masa ke masa, bukan peraturan jisim, daya dan perlanggaran.
Dengar panduan iniAI-diceritakan · ~3 min
Mereka meniru rupa gerakan tanpa meniru apa yang menyebabkannya. Itulah sebabnya objek lenyap, cecair bertindak pelik, anggota badan melalui benda dan klip kekal pendek, dan ia penting bagi sesiapa yang cuba menilai sama ada rakaman itu benar atau menggunakan model ini untuk perancangan dan robotik.
Video generators are trained on huge collections of footage to predict or denoise frames. The training objective rewards output that resembles real video. It does not reward output that obeys conservation of mass or momentum. Common physics, such as a ball falling or a person walking, is well represented in the data and usually looks right. Rare or complex events, such as glass shattering, a specific collision, or liquid pouring into an oddly shaped container, appear less often and are harder to learn. OpenAI's own technical material on Sora noted that it did not accurately model interactions like glass shattering. Object permanence is a memory problem. When something is hidden, the model has to carry its identity through frames where it is invisible. Models attend over a limited amount of context, so hidden objects can come back changed or not at all. Cause and effect is also weak: a bite, a spill or a dent should leave a lasting change, but the model may treat it as a passing visual event. Clip length is limited mainly by compute. A video is represented as spacetime tokens, and attention cost rises steeply as the token count grows, so many products generate seconds rather than minutes. Longer videos are often made by extending clips, which lets errors compound. A common misconception is that these models contain a physics engine. They do not, though they may pick up some implicit physical regularities. Researchers have built benchmarks such as Physics-IQ to test this and found that visually realistic output does not mean physical understanding. World-model research tries to close the gap: Google DeepMind's Genie line generates interactive environments, Meta's V-JEPA learns by predicting in an abstract representation space instead of pixels, and NVIDIA's Cosmos targets physical AI such as robotics.
Orang yang dijana menggigit kuki, tetapi selepas itu kuki itu tidak mempunyai tanda gigitan. OpenAI menamakan kegagalan seperti ini antara had Sora apabila ia melihat model pada tahun 2024.
Seekor anjing berjalan di belakang pokok dan keluar ke seberang dengan corak bulu yang berbeza, kerana model itu tidak menyimpan ingatan yang stabil tentang objek tersembunyi.
Kaki pelari kelihatan bertukar-tukar sisi di tengah-tengah langkah dan kaki meluncur di sepanjang tanah, yang menunjukkan model itu mempelajari rupa berlari, bukan daya sentuhan yang terlibat.
Bola keranjang melepasi rim, hilang seketika, dan muncul semula di tangan pemain, urutan yang kelihatan licin bingkai ke bingkai tetapi tidak masuk akal fizikal.
Kebolehpercayaan fizikal telah bertambah baik dengan skala dan data yang lebih baik, dan kemungkinan besar akan terus bertambah baik untuk adegan biasa. Kes yang lebih sukar, seperti sebab dan akibat ufuk panjang, interaksi yang jarang berlaku dan kekekalan objek yang boleh dipercayai merentas oklusi yang panjang, mungkin memerlukan perubahan seni bina seperti ingatan eksplisit, struktur 3D atau simulasi hibrid dan bukannya skala sahaja. Model dunia yang bertujuan untuk robotik dan persekitaran interaktif ialah kawasan penyelidikan yang aktif, dan penanda aras yang secara berasingan menguji realisme visual dan ketepatan fizikal akan membantu menunjukkan kemajuan sebenar. Tidak diselesaikan sama ada ramalan video tulen boleh mempelajari fizik yang mantap, dan penyelidik tidak bersetuju mengenainya.
Newsletter percuma
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Video AI menjadi salah fizik kerana penjana mempelajari corak statistik tentang cara piksel biasanya berubah dari semasa ke semasa, bukan peraturan jisim, daya dan perlanggaran. Mereka meniru rupa gerakan tanpa meniru apa yang menyebabkannya. Itulah sebabnya objek lenyap, cecair bertindak pelik, anggota badan melalui benda dan klip kekal pendek, dan ia penting bagi sesiapa yang cuba menilai sama ada rakaman itu benar atau menggunakan model ini untuk perancangan dan robotik.
Model dilatih untuk meramal atau mengecilkan bingkai supaya output kelihatan seperti rakaman latihan. Ketepatan fizikal tidak diukur secara langsung.
Peristiwa yang tidak biasa dalam data dan kompleks fizikal memberikan model yang lebih sedikit contoh untuk dipelajari, jadi outputnya kurang dipercayai.
Untuk memastikan objek tersembunyi konsisten, model perlu membawa identitinya melalui bingkai yang tidak kelihatan, dan konteks terhad menjadikannya tidak boleh dipercayai.
Lebih banyak bingkai bermakna lebih banyak token dan kos perhatian meningkat dengan pantas dengan kiraan token, jadi panjang dihadkan oleh pengiraan.
Penjana video tidak mempunyai simulator fizik yang jelas. Mana-mana fizik yang mereka tunjukkan adalah tersirat dalam corak yang dipelajari.
Teruskan belajar
Lebih banyak panduan dipilih untuk topik ini
SeterusnyaPanduan seterusnya
Mengapa Penjana Imej AI Silap Tangan
AI Visual