Tiếp theoHướng dẫn tiếp theo
Viết lời nhắc tạo hình ảnh hiệu quả
AI trực quan
HƯỚNG DẪN AI trực quan
Thế hệ hình ảnh thành 3D biến một bức ảnh hoặc hình ảnh của một đối tượng thành mô hình 3D có kết cấu, thường là dạng lưới, thường chỉ trong vài giây bằng cách sử dụng mạng chuyển tiếp nguồn cấp dữ liệu như TripoSR.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Mô hình tái tạo lại những gì nó có thể nhìn thấy và đoán những khía cạnh ẩn giấu từ các mẫu đã học được trong quá trình đào tạo. Điều này quan trọng vì nó giúp những người không chuyên có thể truy cập nhanh các nội dung 3D, nhưng kết quả đầu ra của nó là một ước tính hợp lý chứ không phải là thước đo của vật thể thực.
Thế hệ hình ảnh thành 3D biến một hình ảnh đơn lẻ của một vật thể thành mô hình 3D có kết cấu mà bạn có thể sử dụng trong công cụ trò chơi, trình xem AR hoặc công cụ tạo mô hình. Cách tiếp cận hiện đại nhanh chóng là tái cấu trúc chuyển tiếp nguồn cấp dữ liệu: một lần truyền qua mạng đã được đào tạo, mất vài giây thay vì phút hoặc giờ theo yêu cầu của các phương pháp tối ưu hóa từng đối tượng cũ hơn. Thiết kế chính lấy từ Mô hình tái thiết lớn (LRM), một bài báo năm 2023 của các nhà nghiên cứu tại Adobe và Đại học Quốc gia Úc. LRM sử dụng bộ mã hóa hình ảnh được huấn luyện trước (DINO) và một máy biến áp lớn để ánh xạ các đặc điểm hình ảnh thành một mặt phẳng ba mặt: ba mặt phẳng đặc trưng được căn chỉnh theo trục cùng mô tả một trường 3D. Một mạng nhỏ giải mã mật độ và màu sắc tại bất kỳ điểm nào, mạng này có thể được hiển thị giống như NeRF trong quá trình huấn luyện và sau đó được chuyển đổi thành lưới với các khối diễu hành. TripoSR, được phát hành vào tháng 3 năm 2024 bởi Stability AI và Tripo AI theo giấy phép MIT, được xây dựng trên thiết kế LRM và báo cáo quá trình tái tạo trong chưa đầy một giây trên GPU có khả năng hoạt động. Stable Fast 3D sau này của Stability đã bổ sung thêm các kết cấu và ước tính vật liệu không có tia UV. Một dòng khác trước tiên sử dụng mô hình khuếch tán để tưởng tượng các góc nhìn mới về đối tượng, một ý tưởng do Zero-1-to-3 tiên phong, sau đó tái tạo lại từ các góc nhìn đó, như InstantMesh đã làm. Hạn chế trung tâm là một bức ảnh không chứa mặt sau của đối tượng. Mọi thứ ẩn giấu chỉ là phỏng đoán đã học được, được định hình bằng dữ liệu đào tạo, chẳng hạn như bộ sưu tập nội dung 3D lớn của Objaverse. Các đối tượng phổ biến, đối xứng xuất hiện một cách hợp lý; thiết kế khác thường, các bộ phận mỏng, vật liệu trong suốt hoặc sáng bóng và văn bản đẹp thường không thành công. Tỷ lệ không xác định được từ một hình ảnh nên kích thước không đáng tin cậy. Một quan niệm sai lầm thường gặp là điều này tương đương với quét 3D hoặc phép đo ảnh, đo hình học thực từ nhiều bức ảnh. Mô hình một hình ảnh phù hợp với các khái niệm, phần giữ chỗ và nguyên mẫu chứ không phải các bộ phận phải phù hợp.
Một nhà phát triển trò chơi độc lập chụp ảnh một chiếc cốc gốm, xóa nền và sử dụng TripoSR để lấy lưới trong vài giây làm giá đỡ giữ chỗ cho cảnh nhà bếp.
Một nhà thiết kế sản phẩm biến bản phác thảo ý tưởng về chiếc đèn thành mô hình 3D thô để xem từ nhiều góc độ trước khi nhà tạo mô hình chuyên nghiệp tạo ra phiên bản cuối cùng.
Một người có sở thích cố gắng in 3D một núm thay thế từ một bức ảnh và nhận thấy kích thước không đúng và mặt sau ẩn được phát minh ra, vì vậy cô ấy chuyển sang đo nó bằng thước cặp.
Một người bán trực tuyến tạo bản xem trước 3D của một món đồ chơi sang trọng cho người xem AR, sau đó nhận thấy mặt sau không nhìn thấy được có mẫu đường may đoán không khớp với đồ chơi thật.
Nghiên cứu đang hướng tới hình học có độ phân giải cao hơn, cấu trúc liên kết lưới sạch hơn, vật liệu PBR thích hợp thay vì màu nướng và sử dụng tốt hơn nhiều ảnh đầu vào khi có sẵn. Việc kết hợp phổ biến nhiều chế độ xem với tái tạo chuyển tiếp nguồn cấp dữ liệu đã cải thiện tính hợp lý của mặt ẩn, nhưng một hình ảnh duy nhất sẽ luôn khiến mặt sau không được xác định, do đó không thể loại bỏ việc đoán. Mong đợi sự tích hợp chặt chẽ hơn vào công cụ trò chơi và công cụ thiết kế, đồng thời sử dụng nhiều hơn để tạo nguyên mẫu nhanh. Đối với các nhiệm vụ quan trọng về độ chính xác, các phương pháp đo như quang trắc, cảm biến độ sâu và CAD có thể vẫn cần thiết.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Thế hệ hình ảnh thành 3D biến một bức ảnh hoặc hình ảnh của một đối tượng thành mô hình 3D có kết cấu, thường là dạng lưới, thường chỉ trong vài giây bằng cách sử dụng mạng chuyển tiếp nguồn cấp dữ liệu như TripoSR. Mô hình tái tạo lại những gì nó có thể nhìn thấy và đoán những khía cạnh ẩn giấu từ các mẫu đã học được trong quá trình đào tạo. Điều này quan trọng vì nó giúp những người không chuyên có thể truy cập nhanh các nội dung 3D, nhưng kết quả đầu ra của nó là một ước tính hợp lý chứ không phải là thước đo của vật thể thực.
Các mô hình chuyển tiếp nguồn cấp dữ liệu dự đoán 3D trực tiếp trong một lần truyền, không giống như các phương pháp cũ hơn tối ưu hóa từng đối tượng theo phút hoặc giờ.
LRM dự đoán một mặt phẳng ba chiều mà một mạng nhỏ sẽ giải mã thành mật độ và màu sắc tại bất kỳ điểm 3D nào.
TripoSR được Stability AI và Tripo AI phát hành theo giấy phép MIT và được xây dựng trên thiết kế LRM.
Các khối diễu hành chuyển đổi một trường mật độ thành một bề mặt lưới tam giác.
Zero-1-to-3 đi tiên phong trong việc tạo ra các chế độ xem mới bằng tính năng phổ biến, sau đó các phương pháp như InstantMesh sẽ tái tạo lại từ đó.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Viết lời nhắc tạo hình ảnh hiệu quả
AI trực quan