Tiếp theoHướng dẫn tiếp theo
Kiến trúc U-Net
AI trực quan
HƯỚNG DẪN AI trực quan
Kiến trúc StyleGAN
StyleGAN is a style-based GAN generator that maps a latent code into an intermediate representation and applies styles at multiple synthesis layers.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
This structure supports controls over different scales of visual variation, although semantic factors are not perfectly independent.
Lặn sâu
StyleGAN, được giới thiệu bởi Karras et al. vào năm 2018, đã thiết kế lại trình tạo GAN xoay quanh ý tưởng về 'phong cách'. Thay vì đưa một vectơ ngẫu nhiên thẳng vào mạng, trước tiên, nó ánh xạ mã tiềm ẩn z thông qua MLP 8 lớp vào không gian trung gian W, giúp loại bỏ các yếu tố biến đổi. Sau đó, một tensor hằng số đã học sẽ được tăng tần số lấy mẫu và ở mỗi độ phân giải, vectơ kiểu sẽ điều chỉnh các bản đồ đặc trưng thông qua Chuẩn hóa phiên bản thích ứng (AdaIN), kiểm soát các thuộc tính từ tư thế (lớp thô) đến kết cấu da (lớp mịn). Đầu vào nhiễu trên mỗi lớp sẽ thêm các chi tiết ngẫu nhiên như tàn nhang và sợi tóc lạc lối. StyleGAN2 (2020) đã thay thế AdaIN bằng tính năng giải điều chế trọng lượng để loại bỏ các tạo phẩm 'blob' và StyleGAN3 (2021) đã sửa lỗi răng cưa bám sát kết cấu để làm cho các tính năng chuyển động tự nhiên trong quá trình hoạt ảnh.
Triển khai trong thế giới thực
Tạo ra vô số khuôn mặt con người không tồn tại, như ảnh thực tế, như được giới thiệu bởi thispersondoesnotexist.com.
Chỉnh sửa khuôn mặt theo ngữ nghĩa: thay đổi độ tuổi, biểu cảm hoặc tư thế một cách mượt mà bằng cách di chuyển dọc theo các hướng trong không gian W.
Tạo dữ liệu đào tạo tổng hợp và hình đại diện khi khan hiếm hình ảnh thực, đảm bảo quyền riêng tư.
Các công cụ nghệ thuật nội suy hoặc 'pha trộn kiểu' giữa các hình ảnh để hòa trộn cấu trúc thô và chi tiết tinh tế.
Tương lai của kiến trúc StyleGAN
Style-based generators support research in image editing, latent inversion, and efficient synthesis. EG3D combines a StyleGAN2-style feature generator with neural rendering for 3D-aware generation. These methods need evaluation for the intended domain and edit: a useful latent direction or realistic output does not guarantee complete control, exact identity preservation, or privacy-safe synthetic data. Runtime advantages also depend on the implementation and comparison workload.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the StyleGAN Architecture quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is StyleGAN Architecture?
StyleGAN is a style-based GAN generator that maps a latent code into an intermediate representation and applies styles at multiple synthesis layers. This structure supports controls over different scales of visual variation, although semantic factors are not perfectly independent.
Mục đích của mạng bản đồ StyleGAN là gì?
MLP 8 lớp ánh xạ z đến W, một không gian tiềm ẩn trung gian nơi các yếu tố biến đổi được phân tách tốt hơn, cho phép kiểm soát rõ ràng hơn.
Trong StyleGAN ban đầu, kiểu được đưa vào bản đồ đặc trưng như thế nào?
AdaIN chuẩn hóa các bản đồ đặc trưng, sau đó chia tỷ lệ và dịch chuyển chúng bằng cách sử dụng số liệu thống kê bắt nguồn từ kiểu ở mỗi độ phân giải.
Mạng tổng hợp bắt đầu từ đâu thay vì vectơ tiềm ẩn?
StyleGAN bắt đầu từ một đầu vào không đổi đã học và thêm kiểu dáng cũng như tiếng ồn khi lấy mẫu thay vì đưa z trực tiếp vào.
Việc điều chỉnh kiểu ở các lớp thô (độ phân giải thấp) chủ yếu kiểm soát điều gì?
Các lớp thô chi phối cấu trúc quy mô lớn như tư thế và hình dạng tổng thể, trong khi các lớp mịn xử lý kết cấu và chi tiết vi mô.
StyleGAN2 đã khắc phục vấn đề gì so với bản gốc?
StyleGAN2 đã thay thế AdaIN bằng tính năng giải điều chế trọng lượng, loại bỏ các thành phần giả dạng giọt/đốm và cải thiện chất lượng hình ảnh.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này