Chỉnh sửa tương tác DragGAN
DragGAN cho phép bạn chỉnh sửa hình ảnh bằng cách kéo các điểm theo đúng nghĩa đen: lấy một điểm và kéo nó vào mục tiêu và hình ảnh sẽ biến dạng một cách thực tế, thay đổi tư thế, hình dạng hoặc biểu cảm.
Tổng quan
Điều này quan trọng vì nó giúp thao tác hình ảnh chính xác, trực quan trở nên khả thi mà không cần thanh trượt, mặt nạ hay lời nhắc văn bản.
Lặn sâu
DragGAN, từ Pan, Tewari, Leimkuhler và các đồng nghiệp tại Max Planck và các đối tác (SIGGRAPH 2023), đã giới thiệu tính năng chỉnh sửa tương tác dựa trên điểm đối với các hình ảnh do GAN tạo ra. Người dùng đặt một hoặc nhiều điểm 'xử lý' trên một hình ảnh và các điểm 'mục tiêu' tương ứng nơi họ sẽ di chuyển. Sau đó, DragGAN liên tục điều chỉnh mã tiềm ẩn để nội dung dưới mỗi tay cầm trượt về phía mục tiêu trong khi phần còn lại của hình ảnh vẫn mạch lạc. Bạn có thể kéo dài chân của động vật, khiến con người mỉm cười, xoay ô tô hoặc thay đổi đường nét của cảnh quan, tất cả đều bằng cách kéo. Điều quan trọng là các chỉnh sửa tôn trọng đa dạng hình ảnh đã học, do đó, kết quả vẫn chân thực thay vì làm mờ các pixel. Mặt nạ tùy chọn hạn chế những vùng được phép di chuyển, mang lại khả năng kiểm soát cục bộ tốt.
Hiểu biết kỹ thuật
DragGAN hoạt động trong không gian tính năng và tiềm ẩn của GAN đã được huấn luyện trước. Nó sử dụng hai bước xen kẽ: giám sát chuyển động, dịch chuyển mã tiềm ẩn để các đối tượng ở gần mỗi bộ điều khiển di chuyển về hướng mục tiêu và theo dõi điểm, giúp di chuyển bộ điều khiển đi theo đối tượng địa lý mà nó được neo để sử dụng tìm kiếm lân cận gần nhất trong bản đồ đối tượng. Việc lặp lại các bước này sẽ đưa hình ảnh dọc theo đa tạp GAN, tạo ra các biến dạng mượt mà, chân thực.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của chỉnh sửa tương tác DragGAN
DragGAN đã thúc đẩy công việc tiếp theo nhanh chóng mang lại khả năng kiểm soát dựa trên lực kéo cho các mô hình khuếch tán (chẳng hạn như DragDiffusion và FreeDrag), xử lý ảnh thực và nội dung tùy ý mạnh mẽ hơn so với chỉ riêng GAN. Mong đợi tính năng chỉnh sửa kéo sẽ trở thành một công cụ tiêu chuẩn trong phần mềm sáng tạo, được kết hợp với các điều khiển văn bản và vùng, đồng thời mở rộng sang video và 3D để người dùng có thể đặt các đối tượng trên các khung hoặc định hình lại các mắt lưới một cách tương tác, trong khi vẫn duy trì tính chân thực của ảnh.
Triển khai trong thế giới thực
Điều chỉnh biểu cảm, hướng nhìn hoặc kiểu tóc của chân dung bằng cách kéo các điểm trên khuôn mặt
Thay đổi tư thế và hướng của động vật hoặc phương tiện, chẳng hạn như quay ô tô hoặc định vị lại đầu sư tử
Định hình lại ảnh sản phẩm (kéo dài, mở rộng hoặc đặt lại vị trí đối tượng) cho mô hình thiết kế
Tinh chỉnh hình ảnh phong cảnh hoặc thời trang bằng cách kéo các đường viền, chẳng hạn như thay đổi hình dạng ngọn núi hoặc độ vừa vặn của quần áo
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the DragGAN Interactive Editing quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chỉnh sửa một lần Tune-A-Video
Câu hỏi thường gặp
DragGAN Interactive Editing là gì?
DragGAN cho phép bạn chỉnh sửa hình ảnh bằng cách kéo các điểm theo đúng nghĩa đen: lấy một điểm và kéo nó vào mục tiêu và hình ảnh sẽ biến dạng một cách thực tế, thay đổi tư thế, hình dạng hoặc biểu cảm. Nó quan trọng vì nó giúp thao tác hình ảnh chính xác, trực quan mà không cần thanh trượt, mặt nạ hoặc lời nhắc văn bản.
Người dùng chỉnh sửa hình ảnh trong DragGAN như thế nào?
Chỉnh sửa DragGAN hoạt động bằng cách đặt các điểm điều khiển và kéo chúng đến vị trí mục tiêu, làm biến dạng hình ảnh cho phù hợp.
Hai bước cốt lõi xen kẽ của DragGAN là gì?
DragGAN luân phiên giám sát chuyển động (di chuyển các tính năng về phía mục tiêu) và theo dõi điểm (định vị lại tay cầm), lặp đi lặp lại cho đến khi hoàn tất.
Tại sao các chỉnh sửa DragGAN trông thực tế hơn là bị nhòe?
Bởi vì thao tác xảy ra trong không gian tiềm ẩn của GAN đã được huấn luyện trước, nên kết quả đầu ra vẫn ở dạng nhiều hình ảnh thực tế.
Mặt nạ tùy chọn trong DragGAN kiểm soát những gì?
Mặt nạ cho phép người dùng hạn chế chỉnh sửa ở các vùng đã chọn để phần còn lại của hình ảnh được cố định.
DragGAN được giới thiệu đáng chú ý tại địa điểm nào vào năm 2023?
DragGAN được xuất bản tại SIGGRAPH 2023, một hội nghị đồ họa máy tính hàng đầu.