HƯỚNG DẪN AI trực quan

Lời nhắc tiêu cực trong việc tạo hình ảnh

Lời nhắc tiêu cực là văn bản mô tả những gì bạn không muốn trong hình ảnh do AI tạo ra.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của những lời nhắc tiêu cực trong việc tạo hình ảnh
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Trong các mô hình khuếch tán như Stable Diffusion, nó thay thế dấu nhắc trống được sử dụng trong hướng dẫn không có bộ phân loại, do đó, mọi bước khử nhiễu đều bị đẩy ra khỏi mô tả đó. Lời nhắc tiêu cực cung cấp cho người dùng đòn bẩy trực tiếp để xử lý các phần tử không mong muốn, nhưng chúng chỉ hoạt động trên các mô hình chạy hướng dẫn thực sự không có bộ phân loại và chúng có thể phản tác dụng khi bị lạm dụng quá mức.

Lặn sâu

Mô hình khuếch tán tạo ra một hình ảnh bằng cách bắt đầu từ nhiễu ngẫu nhiên và loại bỏ nó qua nhiều bước. Ở mỗi bước, mô hình sẽ dự đoán tiếng ồn hai lần: một lần được điều chỉnh theo lời nhắc của bạn và một lần với đầu vào 'vô điều kiện', thường là lời nhắc trống. Hướng dẫn không cần phân loại, được giới thiệu bởi Jonathan Ho và Tim Salimans, kết hợp cả hai. Nó bắt đầu từ dự đoán vô điều kiện và tiến xa hơn tới dự đoán có điều kiện, được chia tỷ lệ theo thang hướng dẫn (thường được gắn nhãn CFG). Kết quả tuân theo lời nhắc chặt chẽ hơn so với mô hình thô. Lời nhắc phủ định chỉ cần thay thế lời nhắc trống bằng văn bản phủ định của bạn. Công thức bây giờ đã thoát khỏi mô tả tiêu cực khi nó chuyển sang mô tả tích cực. Đó là lý do tại sao lời nhắc phủ định không phải là một bộ lọc hay một bước xử lý hậu kỳ: nó định hình từng bước khử nhiễu. Kỹ thuật này lan truyền thông qua các công cụ cộng đồng như giao diện web AUTOMATIC1111 vào năm 2022. Nó trở nên đặc biệt phổ biến với Stable Diffusion 2.x, kết quả mà nhiều người dùng nhận thấy được cải thiện rõ rệt với các tiêu cực. Lời nhắc tiêu cực hoạt động hiệu quả nhất trên các khái niệm hình ảnh cụ thể mà mô hình biết rõ: 'mờ', 'văn bản', 'hình mờ', 'đơn sắc' hoặc một màu hay đối tượng cụ thể. Chúng hoạt động kém hiệu quả hơn so với các bản sửa lỗi trừu tượng. Trên nhiều mẫu máy có mục đích chung, các thuật ngữ như "giải phẫu kém" hoặc "ngón tay thừa" thường ít có tác dụng vì những mẫu đó hiếm khi thấy chú thích mô tả những lỗi như vậy. Họ cũng có thể làm cho kết quả tồi tệ hơn. Một danh sách dài đẩy hình ảnh ra xa nhiều hướng cùng một lúc. Điều đó có thể làm giảm sự đa dạng, màu sắc bị nhạt đi hoặc quá bão hòa và tạo ra bố cục cứng nhắc, đồng thời tỷ lệ hướng dẫn cao sẽ khuếch đại hiệu ứng. Một số mô hình, bao gồm cả mô hình được chắt lọc theo hướng dẫn và mô hình vài bước, hoàn toàn bỏ qua bước vượt qua vô điều kiện. Trên đó, các lời nhắc tiêu cực sẽ bị bỏ qua trừ khi công cụ bật lại CFG thực sự, điều này làm chậm quá trình tạo. Một quan niệm sai lầm phổ biến là việc viết 'không có mèo' trong dấu nhắc chính sẽ loại trừ mèo. Bộ mã hóa văn bản xử lý phủ định kém nên thay vào đó, cụm từ có thể thêm mèo.

Triển khai trong thế giới thực

Một nhiếp ảnh gia sản phẩm tạo ra một bức ảnh chụp một chiếc đồng hồ trong studio sẽ thêm 'văn bản, hình mờ, biểu tượng' làm lời nhắc tiêu cực để ngăn cản việc xây dựng thương hiệu giả mạo ở nền.

Một họa sĩ minh họa muốn có một đường nét rõ ràng sẽ đặt 'bóng đổ, màu sắc, quang học' vào dấu nhắc phủ định. Thay vào đó, việc viết 'không tô bóng' trong lời nhắc chính có thể vô tình thêm bóng đổ.

Người dùng dán lời nhắc tiêu cực dài 60 chữ được sao chép từ một diễn đàn và nhận thấy hình ảnh trở nên phẳng và lặp đi lặp lại. Việc cắt bớt nó thành một số thuật ngữ mục tiêu sẽ mang lại sự đa dạng trở lại.

Ai đó chuyển sang mô hình được chắt lọc hướng dẫn và nhận thấy trường lời nhắc phủ định không thực hiện gì vì theo mặc định, mô hình không bao giờ tính toán dự đoán thứ hai mà lời nhắc phủ định sẽ cung cấp.

Tương lai của những lời nhắc tiêu cực trong việc tạo hình ảnh

Những gợi ý tiêu cực đang trở nên ít quan trọng hơn khi các mô hình được cải thiện. Các hệ thống mới hơn với bộ mã hóa văn bản mạnh hơn sẽ tuân theo các lời nhắc tích cực chi tiết một cách trung thực hơn và các mô hình được hướng dẫn chắt lọc từ bỏ hỗ trợ lời nhắc tiêu cực để đổi lấy tốc độ. Trong khi đó, nghiên cứu vẫn tiếp tục về các phương pháp hướng dẫn mang lại khả năng kiểm soát tốt hơn mà không có tác dụng phụ của CFG đơn giản và một số giao diện cung cấp các điều khiển riêng biệt để loại bỏ những thứ như văn bản hoặc kiểu. Bài học lâu dài dành cho những người thực hành là một cách máy móc: kiểm tra xem mô hình của bạn có thực sự chạy nhánh âm hay không, giữ các số âm ngắn gọn và cụ thể, đồng thời kiểm tra từng thuật ngữ dựa trên một hạt giống cố định để bạn có thể thấy nó thực sự thay đổi điều gì.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Negative Prompts in Image Generation quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Lời nhắc tiêu cực trong việc tạo hình ảnh là gì?

Lời nhắc tiêu cực là văn bản mô tả những gì bạn không muốn trong hình ảnh do AI tạo ra. Trong các mô hình khuếch tán như Stable Diffusion, nó thay thế dấu nhắc trống được sử dụng trong hướng dẫn không có bộ phân loại, do đó, mọi bước khử nhiễu đều bị đẩy ra khỏi mô tả đó. Lời nhắc tiêu cực cung cấp cho người dùng đòn bẩy trực tiếp để xử lý các phần tử không mong muốn, nhưng chúng chỉ hoạt động trên các mô hình chạy hướng dẫn thực sự không có bộ phân loại và chúng có thể phản tác dụng khi bị lạm dụng quá mức.

Trong hướng dẫn không có bộ phân loại, dấu nhắc phủ định thay thế điều gì?

CFG thường so sánh dự đoán được nhắc với dự đoán từ dấu nhắc trống. Lời nhắc phủ định sẽ thay thế dấu nhắc trống, do đó hướng dẫn sẽ bị đẩy ra khỏi văn bản đó.

Tại sao viết 'không có mèo' trong gợi ý chính lại thực sự tạo ra mèo?

Bộ mã hóa ghi nhận 'mèo' là một khái niệm mạnh và phần lớn bỏ sót chữ 'không'. Di chuyển từ sang dấu nhắc phủ định sẽ đảo ngược hướng dẫn.

Tại sao hướng dẫn không cần phân loại lại tăng gấp đôi số lần tính toán mỗi bước?

Mỗi bước cần hai dự đoán tiếng ồn, một dự đoán cho mỗi lời nhắc và chúng được kết hợp bằng thang đo hướng dẫn.

Theo hướng dẫn, thuật ngữ tiêu cực nào có nhiều khả năng có tác động mạnh mẽ và đáng tin cậy nhất?

Phim âm bản hoạt động hiệu quả nhất trên các khái niệm hình ảnh cụ thể mà người mẫu biết rõ. Hình mờ xuất hiện trong nhiều hình ảnh huấn luyện, trong khi những mô tả lỗi như 'giải phẫu xấu' hiếm khi xuất hiện trong chú thích chung.

Điều gì xảy ra khi bạn sử dụng lời nhắc phủ định với mô hình được chắt lọc theo hướng dẫn bỏ qua bước vượt qua vô điều kiện?

Không có nhánh vô điều kiện hoặc phủ định để tính toán, văn bản phủ định sẽ không còn nơi nào để đi. Bật lại CFG thực sự sẽ khôi phục nó nhưng phải trả giá bằng tốc độ.