Điều chỉnh đa khái niệm khuếch tán tùy chỉnh
Khuếch tán tùy chỉnh là một phương pháp tinh chỉnh nhẹ giúp dạy mô hình chuyển văn bản thành hình ảnh các khái niệm cá nhân mới, chẳng hạn như con chó của bạn hoặc một chiếc ghế cụ thể, chỉ từ một vài bức ảnh.
Tổng quan
Its standout feature is composing several newly learned concepts together in one generated scene.
Lặn sâu
Được phát hành bởi các nhà nghiên cứu Adobe và CMU vào năm 2022, Custom Diffusion cá nhân hóa các mô hình như Stable Diffusion mà không cần đào tạo lại toàn bộ mạng. Thay vì cập nhật mọi trọng số, họ phát hiện ra rằng chỉ cập nhật một phần nhỏ, ma trận chiếu khóa và giá trị trong các lớp chú ý chéo, là đủ để tiếp thu một khái niệm mới từ khoảng 4 đến 20 hình ảnh. Điều này giúp điều chỉnh nhanh (phút) và dung lượng lưu trữ nhỏ (megabyte thay vì gigabyte). Điều quan trọng là nó có thể học nhiều khái niệm cùng một lúc thông qua đào tạo chung hoặc bằng cách hợp nhất các khái niệm được đào tạo riêng biệt bằng cách sử dụng tối ưu hóa có ràng buộc. Điều đó cho phép bạn gợi ý, chẳng hạn như con mèo cụ thể của bạn đang ngồi trên chiếc ghế được thiết kế cụ thể của bạn, điều gì đó mà các phương pháp khái niệm đơn lẻ khó kết hợp được.
Hiểu biết kỹ thuật
Sự chú ý chéo là nơi lời nhắc văn bản ảnh hưởng đến hình ảnh; các mã thông báo văn bản tạo thành các truy vấn liên quan đến các đặc điểm trực quan của mô hình phổ biến thông qua ma trận khóa và giá trị. Khuếch tán tùy chỉnh đóng băng hầu hết U-Net và chỉ điều chỉnh các phép chiếu K và V đó, những phần chịu trách nhiệm chính về việc ràng buộc các từ với hình thức xuất hiện. Nó cũng sử dụng một tập hợp chính quy các hình ảnh thực chia sẻ danh mục của khái niệm để ngăn mô hình trang bị quá mức và quên đi nghĩa rộng hơn của từ.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của việc điều chỉnh đa khái niệm khuếch tán tùy chỉnh
Quá trình cá nhân hóa đa khái niệm đang hội tụ với các hệ sinh thái bộ chuyển đổi như LoRA, nơi nhiều mô-đun khái niệm nhỏ có thể được trộn lẫn tại thời điểm suy luận. Các hệ thống trong tương lai nhằm mục đích soạn thảo hàng chục khái niệm tùy chỉnh một cách rõ ràng mà không bị chảy máu thuộc tính (màu của con mèo bị rò rỉ trên ghế) và thực hiện điều chỉnh trong vài giây hoặc thậm chí chỉ với bộ mã hóa mà không cần tối ưu hóa. Kỳ vọng điều này sẽ củng cố việc tạo nội dung nhất quán với thương hiệu, hình đại diện cá nhân và khả năng tùy chỉnh trên thiết bị.
Triển khai trong thế giới thực
Dạy mô hình thú cưng cụ thể của bạn từ một số bức ảnh, sau đó tạo ra các tư thế, trang phục và bối cảnh mới cho nó
Tìm hiểu sản phẩm của thương hiệu (giày sneaker hoặc chai) và linh vật của thương hiệu, sau đó kết hợp cả hai trong một hình ảnh tiếp thị
Chụp một tác phẩm nghệ thuật cá nhân cộng với chân dung của một thành viên trong gia đình và đặt chúng cùng nhau trong những cảnh được sáng tạo
Kết hợp một món đồ nội thất tùy chỉnh với phong cách phòng tùy chỉnh để mô phỏng các ý tưởng thiết kế nội thất
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Custom Diffusion Multi-Concept Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Chính sách phổ biến để điều khiển robot
Câu hỏi thường gặp
What is Custom Diffusion Multi-Concept Tuning?
Khuếch tán tùy chỉnh là một phương pháp tinh chỉnh nhẹ giúp dạy mô hình chuyển văn bản thành hình ảnh các khái niệm cá nhân mới, chẳng hạn như con chó của bạn hoặc một chiếc ghế cụ thể, chỉ từ một vài bức ảnh. Tính năng nổi bật của nó là kết hợp một số khái niệm mới được học lại với nhau trong một cảnh được tạo.
Phần nào của mô hình khuếch tán mà Khuếch tán tùy chỉnh chủ yếu tinh chỉnh?
Nó chỉ cập nhật các ma trận K và V liên quan đến nhau, liên kết các từ với hình thức bên ngoài, giữ cho việc điều chỉnh nhanh và tệp được lưu nhỏ.
Khuếch tán tùy chỉnh đáng chú ý nhất so với các phương pháp khái niệm đơn lẻ là gì?
Khả năng đặc trưng của nó là tạo ra nhiều khái niệm, kết hợp nhiều chủ đề được cá nhân hóa lại với nhau.
Custom Diffusion cần khoảng bao nhiêu hình ảnh mẫu để tìm hiểu một khái niệm?
Nó học hỏi từ một số ít hình ảnh, giúp việc cá nhân hóa trở nên thiết thực đối với người dùng hàng ngày.
Tại sao Khuếch tán Tùy chỉnh sử dụng một tập hợp các hình ảnh chuẩn hóa từ danh mục rộng hơn của khái niệm?
Hình ảnh chính quy giữ nguyên ý nghĩa chung của từ danh mục để mô hình không bị thu gọn thành khái niệm mới.
Làm cách nào để có thể sử dụng hai khái niệm Khuếch tán Tùy chỉnh được đào tạo riêng biệt cùng nhau?
Các khái niệm được học độc lập có thể được hợp nhất thông qua tối ưu hóa ràng buộc dạng đóng, cho phép nhắc nhở chung.