HƯỚNG DẪN AI trực quan

Tạo mô hình từ hình ảnh sang 3D

Thế hệ hình ảnh thành 3D biến một bức ảnh hoặc hình ảnh của một đối tượng thành mô hình 3D có kết cấu, thường là dạng lưới, thường chỉ trong vài giây bằng cách sử dụng mạng chuyển tiếp nguồn cấp dữ liệu như TripoSR.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc tạo mô hình từ hình ảnh sang 3D
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Mô hình tái tạo lại những gì nó có thể nhìn thấy và đoán những khía cạnh ẩn giấu từ các mẫu đã học được trong quá trình đào tạo. Điều này quan trọng vì nó giúp những người không chuyên có thể truy cập nhanh các nội dung 3D, nhưng kết quả đầu ra của nó là một ước tính hợp lý chứ không phải là thước đo của vật thể thực.

Lặn sâu

Thế hệ hình ảnh thành 3D biến một hình ảnh đơn lẻ của một vật thể thành mô hình 3D có kết cấu mà bạn có thể sử dụng trong công cụ trò chơi, trình xem AR hoặc công cụ tạo mô hình. Cách tiếp cận hiện đại nhanh chóng là tái cấu trúc chuyển tiếp nguồn cấp dữ liệu: một lần truyền qua mạng đã được đào tạo, mất vài giây thay vì phút hoặc giờ theo yêu cầu của các phương pháp tối ưu hóa từng đối tượng cũ hơn. Thiết kế chính lấy từ Mô hình tái thiết lớn (LRM), một bài báo năm 2023 của các nhà nghiên cứu tại Adobe và Đại học Quốc gia Úc. LRM sử dụng bộ mã hóa hình ảnh được huấn luyện trước (DINO) và một máy biến áp lớn để ánh xạ các đặc điểm hình ảnh thành một mặt phẳng ba mặt: ba mặt phẳng đặc trưng được căn chỉnh theo trục cùng mô tả một trường 3D. Một mạng nhỏ giải mã mật độ và màu sắc tại bất kỳ điểm nào, mạng này có thể được hiển thị giống như NeRF trong quá trình huấn luyện và sau đó được chuyển đổi thành lưới với các khối diễu hành. TripoSR, được phát hành vào tháng 3 năm 2024 bởi Stability AI và Tripo AI theo giấy phép MIT, được xây dựng trên thiết kế LRM và báo cáo quá trình tái tạo trong chưa đầy một giây trên GPU có khả năng hoạt động. Stable Fast 3D sau này của Stability đã bổ sung thêm các kết cấu và ước tính vật liệu không có tia UV. Một dòng khác trước tiên sử dụng mô hình khuếch tán để tưởng tượng các góc nhìn mới về đối tượng, một ý tưởng do Zero-1-to-3 tiên phong, sau đó tái tạo lại từ các góc nhìn đó, như InstantMesh đã làm. Hạn chế trung tâm là một bức ảnh không chứa mặt sau của đối tượng. Mọi thứ ẩn giấu chỉ là phỏng đoán đã học được, được định hình bằng dữ liệu đào tạo, chẳng hạn như bộ sưu tập nội dung 3D lớn của Objaverse. Các đối tượng phổ biến, đối xứng xuất hiện một cách hợp lý; thiết kế khác thường, các bộ phận mỏng, vật liệu trong suốt hoặc sáng bóng và văn bản đẹp thường không thành công. Tỷ lệ không xác định được từ một hình ảnh nên kích thước không đáng tin cậy. Một quan niệm sai lầm thường gặp là điều này tương đương với quét 3D hoặc phép đo ảnh, đo hình học thực từ nhiều bức ảnh. Mô hình một hình ảnh phù hợp với các khái niệm, phần giữ chỗ và nguyên mẫu chứ không phải các bộ phận phải phù hợp.

Triển khai trong thế giới thực

Một nhà phát triển trò chơi độc lập chụp ảnh một chiếc cốc gốm, xóa nền và sử dụng TripoSR để lấy lưới trong vài giây làm giá đỡ giữ chỗ cho cảnh nhà bếp.

Một nhà thiết kế sản phẩm biến bản phác thảo ý tưởng về chiếc đèn thành mô hình 3D thô để xem từ nhiều góc độ trước khi nhà tạo mô hình chuyên nghiệp tạo ra phiên bản cuối cùng.

Một người có sở thích cố gắng in 3D một núm thay thế từ một bức ảnh và nhận thấy kích thước không đúng và mặt sau ẩn được phát minh ra, vì vậy cô ấy chuyển sang đo nó bằng thước cặp.

Một người bán trực tuyến tạo bản xem trước 3D của một món đồ chơi sang trọng cho người xem AR, sau đó nhận thấy mặt sau không nhìn thấy được có mẫu đường may đoán không khớp với đồ chơi thật.

Tương lai của việc tạo mô hình từ hình ảnh sang 3D

Nghiên cứu đang hướng tới hình học có độ phân giải cao hơn, cấu trúc liên kết lưới sạch hơn, vật liệu PBR thích hợp thay vì màu nướng và sử dụng tốt hơn nhiều ảnh đầu vào khi có sẵn. Việc kết hợp phổ biến nhiều chế độ xem với tái tạo chuyển tiếp nguồn cấp dữ liệu đã cải thiện tính hợp lý của mặt ẩn, nhưng một hình ảnh duy nhất sẽ luôn khiến mặt sau không được xác định, do đó không thể loại bỏ việc đoán. Mong đợi sự tích hợp chặt chẽ hơn vào công cụ trò chơi và công cụ thiết kế, đồng thời sử dụng nhiều hơn để tạo nguyên mẫu nhanh. Đối với các nhiệm vụ quan trọng về độ chính xác, các phương pháp đo như quang trắc, cảm biến độ sâu và CAD có thể vẫn cần thiết.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Image-to-3D Model Generation quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Tạo mô hình từ hình ảnh sang 3D là gì?

Thế hệ hình ảnh thành 3D biến một bức ảnh hoặc hình ảnh của một đối tượng thành mô hình 3D có kết cấu, thường là dạng lưới, thường chỉ trong vài giây bằng cách sử dụng mạng chuyển tiếp nguồn cấp dữ liệu như TripoSR. Mô hình tái tạo lại những gì nó có thể nhìn thấy và đoán những khía cạnh ẩn giấu từ các mẫu đã học được trong quá trình đào tạo. Điều này quan trọng vì nó giúp những người không chuyên có thể truy cập nhanh các nội dung 3D, nhưng kết quả đầu ra của nó là một ước tính hợp lý chứ không phải là thước đo của vật thể thực.

Tái tạo chuyển tiếp nguồn cấp dữ liệu có ý nghĩa gì trong chuyển đổi hình ảnh sang 3D?

Các mô hình chuyển tiếp nguồn cấp dữ liệu dự đoán 3D trực tiếp trong một lần truyền, không giống như các phương pháp cũ hơn tối ưu hóa từng đối tượng theo phút hoặc giờ.

Hình ảnh bản đồ máy biến áp của LRM thể hiện những gì?

LRM dự đoán một mặt phẳng ba chiều mà một mạng nhỏ sẽ giải mã thành mật độ và màu sắc tại bất kỳ điểm 3D nào.

Những tổ chức nào đã phát hành TripoSR vào tháng 3 năm 2024?

TripoSR được Stability AI và Tripo AI phát hành theo giấy phép MIT và được xây dựng trên thiết kế LRM.

Lưới thường được trích xuất từ ​​trường 3D được dự đoán như thế nào?

Các khối diễu hành chuyển đổi một trường mật độ thành một bề mặt lưới tam giác.

Zero-1-to-3 đã đóng góp gì cho phương pháp chuyển hình ảnh thành 3D?

Zero-1-to-3 đi tiên phong trong việc tạo ra các chế độ xem mới bằng tính năng phổ biến, sau đó các phương pháp như InstantMesh sẽ tái tạo lại từ đó.