Tính nhất quán của ký tự trên các hình ảnh AI

Chỉ riêng lời nhắc đã thất bại vì mọi thế hệ đều bắt đầu từ tiếng ồn ngẫu nhiên mới và mô tả như "một người phụ nữ với mái tóc ngắn màu đỏ và áo khoác màu xanh lá cây" phù hợp với hàng triệu khuôn mặt khác nhau. Ngay cả với một hạt giống cố định, việc thay đổi dấu nhắc sẽ thay đổi đường dẫn khử nhiễu, do đó bề mặt cũng thay đổi. Các học viên sử dụng ba nhóm kỹ thuật chính. Điều hòa hình ảnh tham chiếu chuyển một hoặc nhiều hình ảnh của ký tự thông qua bộ mã hóa hình ảnh và đưa các đặc điểm thu được vào dọc theo văn bản. IP-Adapter (Tencent, 2023) là một ví dụ mở được sử dụng rộng rãi và Midjourney đã thêm tham số tham chiếu ký tự vào năm 2024. Nó không cần đào tạo và nắm bắt tốt cái nhìn tổng thể. Tuy nhiên, các chi tiết nhỏ như hình xăm, đồ trang sức và hoa văn in có xu hướng bị trôi và trọng lượng tham chiếu cao cũng có thể sao chép tư thế và ánh sáng của tham chiếu. LoRA ký tự và phương pháp DreamBooth liên quan sẽ tinh chỉnh mô hình trên một tập hợp hình ảnh của ký tự (thường là 10 đến 30 hoặc nhiều hơn) và gắn kết quả với mã thông báo kích hoạt hiếm. Đây thường là lựa chọn trung thực nhất cho các thiết kế phức tạp, bao gồm cả trang phục và các nhân vật không phải con người. Chi phí là thời gian đào tạo và hai chế độ thất bại. Một LoRA mặc vừa vặn lặp lại các tư thế, biểu cảm hoặc hình nền từ tập huấn luyện của nó. Một người không đủ sức khỏe sẽ mất đi bản sắc. Việc sử dụng hai LoRA ký tự trong một hình ảnh thường làm trộn lẫn các đặc điểm của chúng. Các bộ mã hóa nhận dạng như InstantID, PhotoMaker và IP-Adapter FaceID trích xuất các phần nhúng kiểu nhận dạng khuôn mặt từ một ảnh duy nhất. Họ bảo tồn bản sắc khuôn mặt một cách mạnh mẽ, nhưng chỉ có khuôn mặt: tóc, quần áo và hình dáng cơ thể không bị khóa. Họ cũng gặp khó khăn với các nhân vật hoạt hình hoặc cách điệu, bởi vì công nghệ nhận dạng khuôn mặt đằng sau họ đã được đào tạo trên ảnh thật. Các mô hình hình ảnh đa phương thức mới hơn có thể lấy hình ảnh làm bối cảnh và thực hiện theo các hướng dẫn chỉnh sửa như "cùng một nhân vật, hiện đang ngồi". Một quan niệm sai lầm phổ biến là bất kỳ phương pháp nào cũng giải quyết được tính nhất quán. Trong thực tế, các cảnh có một số nhân vật vẫn có các thuộc tính bị rò rỉ giữa chúng và hầu hết các quy trình làm việc chuyên nghiệp đều kết hợp các phương pháp rồi sửa lỗi trôi dạt còn lại bằng tay.