Tiếp theoHướng dẫn tiếp theo
Tại sao trình tạo hình ảnh AI lại sai lầm
AI trực quan
HƯỚNG DẪN AI trực quan
Video AI mắc lỗi vật lý vì các trình tạo tìm hiểu các mẫu thống kê về cách các pixel thường thay đổi theo thời gian chứ không phải các quy luật về khối lượng, lực và va chạm.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Họ bắt chước hình thức chuyển động mà không mô phỏng nguyên nhân gây ra chuyển động đó. Đó là lý do tại sao các vật thể biến mất, chất lỏng hoạt động kỳ lạ, các chi xuyên qua mọi vật và các đoạn clip luôn ngắn lại, và điều quan trọng đối với bất kỳ ai đang cố gắng đánh giá xem cảnh quay là thật hay sử dụng các mô hình này để lập kế hoạch và chế tạo robot.
Trình tạo video được đào tạo dựa trên bộ sưu tập cảnh quay khổng lồ để dự đoán hoặc khử nhiễu khung hình. Mục tiêu đào tạo khen thưởng đầu ra giống với video thực. Nó không thưởng cho sản lượng tuân theo sự bảo toàn khối lượng hoặc động lượng. Vật lý thông thường, chẳng hạn như một quả bóng rơi hoặc một người đang đi bộ, được thể hiện rõ ràng trong dữ liệu và thường có vẻ đúng. Các sự kiện hiếm gặp hoặc phức tạp, chẳng hạn như kính vỡ, một vụ va chạm cụ thể hoặc chất lỏng đổ vào một vật chứa có hình dạng kỳ lạ, ít xuất hiện hơn và khó học hơn. Tài liệu kỹ thuật riêng của OpenAI trên Sora lưu ý rằng nó không mô hình chính xác các tương tác như vỡ kính. Tính lâu dài của đối tượng là một vấn đề về bộ nhớ. Khi một cái gì đó bị ẩn đi, mô hình phải mang danh tính của nó thông qua các khung mà nó không thể nhìn thấy được. Các mô hình tham gia vào một lượng ngữ cảnh hạn chế, vì vậy các đối tượng ẩn có thể quay trở lại với sự thay đổi hoặc không hề thay đổi. Nguyên nhân và kết quả cũng yếu: một vết cắn, một vết tràn hoặc một vết lõm có thể để lại sự thay đổi lâu dài, nhưng mô hình có thể coi nó như một sự kiện trực quan thoáng qua. Độ dài clip bị giới hạn chủ yếu bởi tính toán. Một video được thể hiện dưới dạng mã thông báo không thời gian và chi phí chú ý tăng mạnh khi số lượng mã thông báo tăng lên, vì vậy nhiều sản phẩm tạo ra giây thay vì phút. Các video dài hơn thường được tạo bằng cách kéo dài các clip, điều này dẫn đến lỗi phức tạp. Một quan niệm sai lầm phổ biến là những mô hình này chứa một động cơ vật lý. Họ không làm như vậy, mặc dù họ có thể nắm bắt được một số quy luật vật lý tiềm ẩn. Các nhà nghiên cứu đã xây dựng các tiêu chuẩn như Vật lý-IQ để kiểm tra điều này và nhận thấy rằng kết quả đầu ra thực tế về mặt trực quan không có nghĩa là hiểu biết về thể chất. Nghiên cứu mô hình thế giới cố gắng thu hẹp khoảng cách: Dòng Genie của DeepMind tạo ra môi trường tương tác, V-JEPA của Meta học bằng cách dự đoán trong không gian biểu diễn trừu tượng thay vì pixel và Cosmos của NVIDIA nhắm mục tiêu vào AI vật lý như robot.
Một người được tạo ra sẽ cắn một chiếc bánh quy, nhưng sau đó chiếc bánh quy đó không có vết cắn. OpenAI đã đặt tên loại lỗi này trong số các hạn chế của Sora khi xem trước mô hình vào năm 2024.
Một con chó đi sau cái cây và đi ra phía bên kia với kiểu lông khác, vì mô hình không lưu giữ được trí nhớ ổn định về vật thể bị giấu.
Chân của người chạy dường như đổi bên khi đang sải bước và bàn chân trượt dọc theo mặt đất, điều này cho thấy người mẫu đã học được cách chạy chứ không phải lực tiếp xúc liên quan.
Một quả bóng rổ đi qua vành, biến mất trong chốc lát và xuất hiện trở lại trong tay người chơi, một chuỗi trông có vẻ mượt mà từ từng khung hình nhưng không có ý nghĩa vật lý.
Tính hợp lý về mặt vật lý đã được cải thiện theo quy mô và dữ liệu tốt hơn, đồng thời có khả năng nó sẽ tiếp tục cải thiện đối với các cảnh thông thường. Các trường hợp khó hơn, chẳng hạn như nguyên nhân và kết quả có tầm nhìn dài, các tương tác hiếm gặp và sự tồn tại lâu dài của đối tượng đáng tin cậy qua các khoảng thời gian dài, có thể cần các thay đổi về kiến trúc như bộ nhớ rõ ràng, cấu trúc 3D hoặc mô phỏng kết hợp thay vì chỉ riêng tỷ lệ. Các mô hình thế giới hướng tới robot và môi trường tương tác là một lĩnh vực nghiên cứu tích cực và các tiêu chuẩn kiểm tra riêng biệt tính hiện thực trực quan và độ chính xác vật lý sẽ giúp cho thấy sự tiến bộ thực sự. Vẫn chưa rõ liệu dự đoán video thuần túy có thể học được vật lý mạnh mẽ hay không và các nhà nghiên cứu không đồng ý về điều đó.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Video AI mắc lỗi vật lý vì các trình tạo tìm hiểu các mẫu thống kê về cách các pixel thường thay đổi theo thời gian chứ không phải các quy luật về khối lượng, lực và va chạm. Họ bắt chước hình thức chuyển động mà không mô phỏng nguyên nhân gây ra chuyển động đó. Đó là lý do tại sao các vật thể biến mất, chất lỏng hoạt động kỳ lạ, các chi xuyên qua mọi vật và các đoạn clip luôn ngắn lại, và điều quan trọng đối với bất kỳ ai đang cố gắng đánh giá xem cảnh quay là thật hay sử dụng các mô hình này để lập kế hoạch và chế tạo robot.
Các mô hình được huấn luyện để dự đoán hoặc khử nhiễu các khung hình sao cho kết quả đầu ra trông giống như đoạn phim huấn luyện. Độ chính xác vật lý không được đo trực tiếp.
Các sự kiện không phổ biến trong dữ liệu và phức tạp về mặt vật lý sẽ khiến mô hình có ít ví dụ hơn để học hỏi, do đó kết quả đầu ra của nó kém tin cậy hơn.
Để giữ cho một đối tượng ẩn nhất quán, mô hình phải mang danh tính của nó thông qua các khung ở nơi nó vô hình và bối cảnh hạn chế khiến điều đó không đáng tin cậy.
Nhiều khung hình hơn có nghĩa là nhiều mã thông báo hơn và chi phí chú ý tăng nhanh theo số lượng mã thông báo, do đó độ dài bị giới hạn bởi tính toán.
Trình tạo video không có trình mô phỏng vật lý rõ ràng. Bất kỳ vật lý nào họ thể hiện đều tiềm ẩn trong các mô hình đã học.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Tại sao trình tạo hình ảnh AI lại sai lầm
AI trực quan