Tiếp theoHướng dẫn tiếp theo
Bản dịch không ghép đôi CycleGAN
AI trực quan
HƯỚNG DẪN AI trực quan
Dịch từ hình ảnh sang hình ảnh Pix2Pix
Pix2Pix là một GAN có điều kiện học cách dịch một loại hình ảnh này sang một loại hình ảnh khác, chẳng hạn như biến bản phác thảo thành ảnh hoặc bản đồ thành chế độ xem vệ tinh.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It established a general recipe for paired image-to-image translation tasks.
Lặn sâu
Được Isola và các đồng nghiệp giới thiệu vào năm 2017, Pix2Pix coi bản dịch là thế hệ có điều kiện: chính hình ảnh đầu vào là điều kiện. Trình tạo của nó là U-Net, một bộ mã hóa-giải mã với các kết nối bỏ qua mang chi tiết cấp thấp như các cạnh trực tiếp từ đầu vào đến đầu ra. Bộ phân biệt đối xử là một PatchGAN đánh giá tính hiện thực trong các mảng nhỏ cục bộ chứ không phải toàn bộ hình ảnh, giúp làm sắc nét các kết cấu. Quá trình đào tạo kết hợp tổn thất đối nghịch với mất L1 (chênh lệch pixel) để kết quả đầu ra vừa thực tế vừa trung thực với mục tiêu. Điều đáng chú ý là Pix2Pix cần dữ liệu đào tạo được ghép nối, nghĩa là các ví dụ đầu vào-đầu ra phù hợp, truyền cảm hứng cho những phần tiếp theo như CycleGAN học hỏi từ các bộ sưu tập chưa ghép đôi.
Triển khai trong thế giới thực
Chuyển đổi các bản phác thảo cạnh vẽ tay thành các vật thể quang học như túi xách hoặc giày
Biến bản đồ nhãn ngữ nghĩa thành cảnh đường phố thực tế để thiết kế và mô phỏng
Tự động tô màu ảnh đen trắng
Dịch các ô bản đồ trên không thành hình ảnh vệ tinh và ngược lại
Tương lai của dịch thuật từ hình ảnh sang hình ảnh Pix2Pix
Pix2Pix đã chứng minh rằng một kiến trúc có thể xử lý nhiều vấn đề dịch thuật và ý tưởng đó vẫn tồn tại. Dòng này chạy qua phương pháp học tập không ghép đôi của CycleGAN, những phiên bản kế thừa có độ phân giải cao hơn như pix2pixHD cũng như các phương pháp tiếp cận ControlNet và dựa trên khuếch tán ngày nay dựa trên các điều kiện về các cạnh, độ sâu hoặc bản đồ phân đoạn. Khi các mô hình đạt được ưu tiên mạnh hơn, các yêu cầu về dữ liệu được ghép nối sẽ được nới lỏng và các bản dịch trở nên có độ trung thực cao hơn và dễ kiểm soát hơn, nhưng Pix2Pix vẫn là một đường cơ sở rõ ràng, nhẹ nhàng cho các tác vụ được ghép nối.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Pix2Pix Image-to-Image Translation quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is Pix2Pix Image-to-Image Translation?
Pix2Pix là một GAN có điều kiện học cách dịch một loại hình ảnh này sang một loại hình ảnh khác, chẳng hạn như biến bản phác thảo thành ảnh hoặc bản đồ thành chế độ xem vệ tinh. Nó thiết lập một công thức chung cho các nhiệm vụ dịch từ hình ảnh sang hình ảnh được ghép nối.
Pix2Pix yêu cầu loại dữ liệu đào tạo nào?
Pix2Pix cần các cặp khớp nhau (ví dụ: bản phác thảo và ảnh tương ứng của nó), đó là lý do tại sao CycleGAN sau đó được tạo cho dữ liệu chưa ghép nối.
Pix2Pix sử dụng kiến trúc trình tạo nào?
Pix2Pix sử dụng bộ mã hóa-giải mã U-Net có kết nối bỏ qua chuyển chi tiết cấp thấp trực tiếp từ đầu vào đến đầu ra.
Trình phân biệt đối xử PatchGAN trong Pix2Pix đánh giá điều gì?
PatchGAN đánh giá chủ nghĩa hiện thực theo từng bản vá, khuyến khích các kết cấu sắc nét hơn, nhất quán cục bộ hơn.
Tại sao Pix2Pix lại thêm khoản lỗ L1 cùng với khoản lỗ đối nghịch?
The paired L1 term anchors pixelwise or low-frequency correctness; the PatchGAN adversarial objective encourages realistic high-frequency texture.
Tại sao kết nối bỏ qua U-Net lại đặc biệt hữu ích cho các tác vụ dịch thuật?
Đầu vào và đầu ra thường chia sẻ bố cục và các cạnh, vì vậy hãy bỏ qua các kết nối mang chi tiết đó đi ngang thay vì ép nó qua nút thắt cổ chai.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này