HƯỚNG DẪN AI trực quan

Tại sao trình tạo hình ảnh AI lại sai lầm

Công cụ tạo hình ảnh AI mắc sai lầm về bàn tay vì bàn tay nhỏ, có tính linh hoạt cao, thường bị ẩn một phần và hiếm khi được mô tả trong chú thích.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc tại sao trình tạo hình ảnh AI lại mắc sai lầm
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các mô hình tìm hiểu bề ngoài của bàn tay mà không cần tìm hiểu cấu trúc của chúng một cách đáng tin cậy, chẳng hạn như năm ngón tay trên mỗi bàn tay. Lỗi tay đã trở thành một dấu hiệu phổ biến của hình ảnh tổng hợp và việc hiểu lý do tại sao chúng xảy ra giải thích cả cách các mẫu mới hơn được cải thiện như thế nào và tại sao việc đếm ngón tay không còn là cách đáng tin cậy để phát hiện hàng giả.

Lặn sâu

Các mô hình khuếch tán học hỏi từ hàng tỷ cặp chú thích hình ảnh bằng cách học cách đảo ngược tiếng ồn được thêm vào. Họ trở nên rất giỏi về các mẫu hình ảnh cục bộ: kết cấu da, ánh sáng, hình dáng chung của bàn tay. Điều họ không bao giờ nhận được là một quy tắc rõ ràng rằng một bàn tay phải có năm ngón tay nối vào lòng bàn tay theo một thứ tự cụ thể. Một số yếu tố làm cho bàn tay cứng. Bàn tay chiếm một phần nhỏ trong hầu hết các bức ảnh nên chúng có ít pixel. Các mô hình khuếch tán tiềm ẩn như Stable Diffusion cũng thu nhỏ hình ảnh theo hệ số 8 ở mỗi chiều trước khi tạo, điều này có thể chỉ để lại một số ít tế bào tiềm ẩn trong tay. Các bàn tay thực hiện rất nhiều tư thế, cầm đồ vật, chồng lên nhau và thường bị ẩn một phần, do đó dữ liệu huấn luyện có nhiều chế độ xem không đầy đủ. Các ngón tay trông giống nhau nên mô hình tạo ra 'ngón tay, ngón tay, ngón tay' không có tín hiệu mạnh cho biết khi nào nên dừng. Chú thích hầu như không bao giờ đề cập đến bàn tay chứ đừng nói đến tư thế của họ, vì vậy lời nhắc đưa ra rất ít hướng dẫn. Kết quả là một loạt các lỗi quen thuộc: thừa hoặc thiếu ngón tay, các chữ số hợp nhất, ngón cái đặt sai phía và bàn tay dính vào đồ vật hoặc người khác. Răng, tai và đồ trang sức đều có vấn đề vì những lý do tương tự. Các hệ thống mới hơn đã giảm bớt những lỗi này. Các mô hình lớn hơn, độ phân giải đào tạo cao hơn, dữ liệu được lọc và chú thích tốt hơn, kiến ​​trúc dựa trên máy biến áp và việc tinh chỉnh xếp hạng sở thích của con người đều hữu ích. Phiên bản 5 của Midjourney vào năm 2023 được nhiều người đánh giá là có bàn tay tốt hơn và các mẫu sau này từ một số phòng thí nghiệm đã được cải tiến hơn nữa. Tuy nhiên, lỗi vẫn chưa biến mất, đặc biệt là trong các tư thế phức tạp, đám đông và tay cầm đồ vật. Một quan niệm sai lầm phổ biến là mô hình “không thể đếm được”. Sẽ chính xác hơn khi nói rằng nó học về diện mạo một cách thống kê và cấu trúc chính xác chỉ xuất hiện khi dữ liệu và dung lượng mô hình đủ.

Triển khai trong thế giới thực

Một bức chân dung Stable Diffusion ban đầu cho thấy ai đó đang cầm một tách cà phê với sáu ngón tay quấn quanh nó, một lỗi điển hình khi người mẫu kết hợp nhiều tư thế cầm chồng lên nhau.

Một cảnh nhóm từ một người mẫu cũ hợp nhất bàn tay của hai người ở nơi họ chạm vào, bởi vì người mẫu không có ý tưởng chắc chắn về nơi cơ thể này kết thúc và cơ thể khác bắt đầu.

Một nghệ sĩ cung cấp ControlNet OpenPose hoặc bản đồ độ sâu được tạo từ ảnh của chính bàn tay cô ấy để tạo tư thế chính xác, sau đó khắc phục mọi lỗi còn lại.

Một người kiểm tra thực tế lưu ý rằng một kẻ bị nghi ngờ là giả có bàn tay hoàn toàn bình thường, một lời nhắc nhở rằng các máy phát điện mới hơn thường vẽ bàn tay một cách chính xác và cần có những manh mối khác.

Tương lai của việc tại sao trình tạo hình ảnh AI lại mắc sai lầm

Lỗi về bàn tay có thể sẽ tiếp tục giảm khi các mô hình phát triển và dữ liệu đào tạo được cải thiện, nhưng các tư thế bất thường, bàn tay đan vào nhau và bàn tay thao tác với đồ vật vẫn khó hơn so với lòng bàn tay mở đơn giản. Việc tạo video thêm một phiên bản mới của vấn đề, vì các ngón tay phải nhất quán giữa các khung hình. Đối với bất kỳ ai đánh giá tính xác thực, kiểm tra tay là một tín hiệu yếu. Một bàn tay dị dạng vẫn cho thấy một hình ảnh đã được tạo ra, nhưng một bàn tay đúng không chứng tỏ được điều gì. Hồ sơ xuất xứ và hình mờ đáng tin cậy hơn việc kiểm tra giải phẫu.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
  • Xây dựng lựa chọn. Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
  • Nhóm và quy trình làm việc. Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.

coi chừng

  • Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
  • Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
  • Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.

Các bước tiếp theo

  1. Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
  2. Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
  3. Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
  4. Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Why AI Image Generators Get Hands Wrong quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Tại sao trình tạo hình ảnh AI lại mắc sai lầm?

Công cụ tạo hình ảnh AI mắc sai lầm về bàn tay vì bàn tay nhỏ, có tính linh hoạt cao, thường bị ẩn một phần và hiếm khi được mô tả trong chú thích. Các mô hình tìm hiểu bề ngoài của bàn tay mà không cần tìm hiểu cấu trúc của chúng một cách đáng tin cậy, chẳng hạn như năm ngón tay trên mỗi bàn tay. Lỗi tay đã trở thành một dấu hiệu phổ biến của hình ảnh tổng hợp và việc hiểu lý do tại sao chúng xảy ra giải thích cả cách các mẫu mới hơn được cải thiện như thế nào và tại sao việc đếm ngón tay không còn là cách đáng tin cậy để phát hiện hàng giả.

Theo hướng dẫn, mô hình phổ biến chủ yếu học được gì từ các cặp chú thích hình ảnh?

Các mô hình tìm hiểu cách mọi thứ trông như thế nào theo thống kê. Không có gì trong quá trình huấn luyện đưa ra cho họ một quy tắc rõ ràng rằng một bàn tay có năm ngón.

Tính năng nén tiềm ẩn trong Stable Diffusion khiến bàn tay khó vẽ hơn như thế nào?

Một bàn tay nhỏ co lại gấp tám lần theo mỗi chiều sẽ có rất ít không gian để thể hiện năm ngón tay riêng biệt.

Tại sao chú thích giúp người mẫu ít trợ giúp bằng tay?

Nếu không có văn bản mô tả tư thế bàn tay, mô hình không thể liên kết các từ gợi ý với cấu trúc bàn tay.

Hướng dẫn cho biết phiên bản Midjourney nào đã được ghi nhận rộng rãi là có bàn tay tốt hơn vào năm 2023?

Phiên bản 5 của Midjourney, được phát hành vào năm 2023, đã được nhiều người chú ý vì bàn tay được cải tiến, một phần trong xu hướng mở rộng quy mô và dữ liệu tốt hơn.

Quy trình phát hiện và sơn lại theo phong cách ADetailer làm gì?

Việc mở rộng vùng cắt giúp bàn tay có nhiều tế bào tiềm ẩn hơn trong quá trình tái tạo, giúp cải thiện cấu trúc của nó.