Mạng điều khiển
ControlNet là một tiện ích bổ sung cung cấp cho các mô hình tạo hình ảnh khả năng kiểm soát cấu trúc chính xác, cho phép bạn điều khiển đầu ra bằng các cạnh, tư thế, bản đồ độ sâu hoặc nét vẽ nguệch ngoạc.
Tổng quan
It turns text-to-image from a slot machine into a controllable design tool.
Lặn sâu
Được Lvmin Zhang và các đồng nghiệp giới thiệu vào năm 2023, ControlNet gắn với một mô hình khuếch tán đã được huấn luyện trước như Khuếch tán ổn định mà không cần đào tạo lại toàn bộ. Nó sao chép các khối mã hóa của U-Net khuếch tán thành một bản sao có thể huấn luyện được, sau đó kết nối bản sao đó trở lại bản gốc đã được cố định thông qua các lớp tích chập được khởi tạo bằng 0 (không chuyển đổi). Những chuyển đổi bằng 0 này bắt đầu không có tác dụng nên quá trình đào tạo bắt đầu từ hành vi của mô hình ban đầu và dần dần học cách đưa điều hòa vào. Điều hòa là bản đồ không gian: hình ảnh cạnh Canny, bộ xương OpenPose, bản đồ độ sâu, mặt nạ phân đoạn hoặc bản phác thảo thô. Kết quả là hình ảnh được tạo ra tuân theo cấu trúc của bản đồ điều khiển trong khi lời nhắc văn bản đặt ra phong cách và nội dung, mang lại cho nghệ sĩ những bố cục đáng tin cậy và có thể lặp lại.
Hiểu biết kỹ thuật
Bí quyết xác định là phép chập bằng không. Bởi vì các lớp kết nối được khởi tạo với trọng số bằng 0 nên nhánh ControlNet ban đầu không thêm gì, do đó mô hình giống hệt với mô hình ban đầu khi bắt đầu đào tạo. Điều này ngăn tiếng ồn có hại mà các lớp mới sẽ tạo ra và giúp việc tinh chỉnh ổn định ngay cả trên các tập dữ liệu nhỏ. Các gradient chuyển sang mức chuyển đổi bằng 0 và dần dần mở ra con đường điều hòa, học cách kiểm soát cấu trúc một cách an toàn.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của ControlNet
Điều hòa kiểu ControlNet đang trở thành cơ sở hạ tầng tiêu chuẩn trong các công cụ sáng tạo, với tính năng xếp chồng nhiều điều kiện (kết hợp tư thế, độ sâu và các cạnh) và các bộ điều hợp nhẹ hơn như T2I-Adapter và IP-Adapter. Mong đợi sự tích hợp chặt chẽ hơn vào việc khuếch tán video để điều khiển chuyển động nhất quán, chỉnh sửa tương tác theo thời gian thực và các mô hình thống nhất chấp nhận nhiều loại điều khiển cùng một lúc, làm mờ ranh giới giữa bản phác thảo và kết xuất cuối cùng.
Triển khai trong thế giới thực
Khóa tư thế chính xác của nhân vật bằng bộ xương OpenPose trong khi thay đổi quần áo và phông nền thông qua lời nhắc
Sử dụng bản đồ biên Canny để tạo kiểu lại ảnh tòa nhà trong khi vẫn giữ được các đường nét kiến trúc chính xác của nó
Biến những nét vẽ nguệch ngoạc bằng tay thô thành những hình minh họa bóng bẩy cho tác phẩm nghệ thuật ý tưởng và bảng phân cảnh
Áp dụng bản đồ độ sâu để các cảnh được tạo tôn trọng bố cục 3D cho kết xuất sản phẩm và mô hình thiết kế nội thất
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the ControlNet quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
SLAM trực quan
Câu hỏi thường gặp
What is ControlNet?
ControlNet là một tiện ích bổ sung cung cấp cho các mô hình tạo hình ảnh khả năng kiểm soát cấu trúc chính xác, cho phép bạn điều khiển đầu ra bằng các cạnh, tư thế, bản đồ độ sâu hoặc nét vẽ nguệch ngoạc. Nó biến văn bản thành hình ảnh từ máy đánh bạc thành một công cụ thiết kế có thể điều khiển được.
ControlNet chủ yếu giải quyết vấn đề gì cho việc tạo hình ảnh?
ControlNet cho phép người dùng hướng dẫn đầu ra với các điều kiện không gian như cạnh, tư thế hoặc độ sâu, giúp việc tạo có thể kiểm soát được thay vì ngẫu nhiên.
Vai trò của các lớp 'không tích chập' trong ControlNet là gì?
Các tích chập không được khởi tạo lúc đầu không đóng góp gì, vì vậy mô hình khớp với mô hình ban đầu và học cách điều hòa dần dần và ổn định.
Cái nào trong số này là đầu vào điều hòa ControlNet hợp lệ?
ControlNet sử dụng các bản đồ không gian như khung tư thế, bản đồ độ sâu, các cạnh Canny và mặt nạ phân đoạn làm hướng dẫn cấu trúc.
ControlNet liên quan như thế nào đến mô hình khuếch tán cơ sở như Khuếch tán ổn định?
ControlNet sao chép và huấn luyện một bản sao của bộ mã hóa trong khi vẫn giữ nguyên U-Net ban đầu, bảo toàn kiến thức đã học của nó.
Trong quy trình làm việc của ControlNet, điều gì thường đặt ra kiểu dáng và nội dung trong khi bản đồ điều khiển đặt ra cấu trúc?
Lời nhắc văn bản kiểm soát phong cách và chủ đề, trong khi bản đồ kiểm soát thực thi bố cục không gian.