Tiếp theoHướng dẫn tiếp theo
Chỉnh sửa hình ảnh hội thoại với các mô hình đa phương thức
AI trực quan
HƯỚNG DẪN AI trực quan
Chỉnh sửa hướng dẫn InstructPix2Pix
InstructPix2Pix cho phép bạn chỉnh sửa ảnh bằng cách nhập một lệnh đơn giản như 'làm cho mùa đông' hoặc 'biến con mèo thành con chó', không cần mặt nạ hoặc công cụ lựa chọn.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó dạy một mô hình khuếch tán làm theo hướng dẫn chỉnh sửa trực tiếp.
Lặn sâu
InstructPix2Pix là mô hình khuếch tán dựa trên hình ảnh đầu vào và hướng dẫn chỉnh sửa. Các tác giả của nó đã xây dựng các cặp đào tạo tổng hợp bằng cách sử dụng GPT-3 để tạo hướng dẫn và Nhắc nhở với Stable Diffusion để tạo các ví dụ hình ảnh đã chỉnh sửa. Họ báo cáo rằng mô hình được đào tạo có thể áp dụng các hướng dẫn do người dùng viết cho hình ảnh thực mà không cần tinh chỉnh hoặc đảo ngược từng ví dụ. Điều này không có nghĩa là suy luận là một đánh giá mạng đơn lẻ: lấy mẫu khuếch tán vẫn sử dụng phương pháp khử nhiễu lặp lại. Hai hướng dẫn đánh giá việc tuân thủ hướng dẫn giao dịch dựa trên sự giống nhau với hình ảnh nguồn và mô hình có thể thay đổi các chi tiết ngoài chỉnh sửa được yêu cầu, vì vậy việc xem xét vẫn cần thiết.
Triển khai trong thế giới thực
Một blogger gõ 'thêm tán lá mùa thu' để làm lại ảnh phong cảnh mùa hè cho bài đăng theo mùa.
Một người bán hàng thương mại điện tử hướng dẫn 'đổi màu áo thành xanh nước biển' để tạo ra các biến thể màu sắc sản phẩm chỉ trong một lần chụp.
Một giáo viên chỉnh sửa bức ảnh lịch sử bằng cách 'tô màu này' để làm cho bức ảnh lưu trữ đen trắng trở nên sinh động cho bài học.
Người tạo meme ra lệnh 'đeo kính râm cho chó' mà không cần che mặt chó theo cách thủ công.
Tương lai của việc chỉnh sửa hướng dẫn InstructPix2Pix
Chỉnh sửa dựa trên hướng dẫn có thể giúp yêu cầu thay đổi hình ảnh dễ dàng hơn nhưng kết quả đầu ra tổng hợp vẫn cần được xem xét để phát hiện những thay đổi ngoài ý muốn, thiếu chi tiết và các tuyên bố lịch sử không được hỗ trợ.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
- Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
- Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
coi chừng
- Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
- Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
- Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Các bước tiếp theo
- Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
- Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
- Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
- Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the InstructPix2Pix Instruction Editing quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Chỉnh sửa hướng dẫn InstructPix2Pix là gì?
InstructPix2Pix cho phép bạn chỉnh sửa ảnh bằng cách nhập một lệnh đơn giản như 'làm cho mùa đông' hoặc 'biến con mèo thành con chó', không cần mặt nạ hoặc công cụ lựa chọn. Nó dạy một mô hình khuếch tán làm theo hướng dẫn chỉnh sửa trực tiếp.
Làm thế nào để bạn nói với InstructPix2Pix những gì cần thay đổi?
Bạn chỉ cần gõ một lệnh như 'make it winter'; không cần mặt nạ hoặc lựa chọn vùng.
Dữ liệu đào tạo của InstructPix2Pix được tạo như thế nào?
Các tác giả đã kết hợp các cặp chú thích do GPT-3 tạo với tính năng tổng hợp hình ảnh Nhắc-đến-Nhắc để tự động xây dựng bộ ba.
Hai thang đo hướng dẫn của InstructPix2Pix kiểm soát những gì?
Một thang đo chi phối mức độ tuân thủ hướng dẫn của bản chỉnh sửa; cái còn lại chi phối mức độ bảo tồn của hình ảnh nguồn.
Tại sao người mẫu có xu hướng để lại những phần không được đề cập của hình ảnh?
Một lệnh nhắm đến một thay đổi cụ thể, do đó mô hình sẽ giữ nguyên các vùng mà lệnh không đề cập đến.
InstructPix2Pix có yêu cầu tinh chỉnh hoặc đảo ngược riêng biệt cho từng hình ảnh trước khi áp dụng chỉnh sửa không?
Bài viết mô tả việc áp dụng mô hình đã được huấn luyện cho một hình ảnh và hướng dẫn mà không cần tinh chỉnh hoặc đảo ngược từng ví dụ. Mô hình khuếch tán vẫn thực hiện khử nhiễu lặp đi lặp lại trong quá trình suy luận.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này