Tạo hình ảnh tự động
Tạo hình ảnh tự hồi quy xây dựng từng hình ảnh một, dự đoán từng mã thông báo từ mọi thứ được tạo trước nó.
Tổng quan
It matters because the same next-token machinery powering language models can produce coherent, controllable images.
Lặn sâu
Việc tạo hình ảnh tự hồi quy xử lý một hình ảnh như một chuỗi và dự đoán nó theo từng phần tử, trong đó mỗi phần tử mới được điều chỉnh dựa trên tất cả các phần tử trước đó. Công việc ban đầu như PixelRNN và PixelCNN dự đoán từng hình ảnh một pixel thô, quét từng hàng, tốc độ này chậm nhưng rõ ràng về mặt lý thuyết. Thay vào đó, các hệ thống hiện đại trước tiên phải nén hình ảnh vào một lưới các mã thông báo rời rạc bằng cách sử dụng bộ mã hóa kiểu VQ-VAE, sau đó Transformer dự đoán các mã thông báo đó từ trái sang phải. Parti của OpenAI và Parti của Google đã làm theo công thức này, tạo mã thông báo hình ảnh dựa trên lời nhắc văn bản trước khi giải mã chúng trở lại pixel. Ưu điểm lớn là mô hình hóa khả năng chính xác và kiến trúc thống nhất được chia sẻ với ngôn ngữ. Chi phí là tuần tự, lấy mẫu chậm.
Hiểu biết kỹ thuật
Mô hình phân tích xác suất chung của tất cả các mã thông báo thành tích của các điều kiện: p(x) = tích của p(x_i cho x_1...x_{i-1}). Máy biến áp có sự chú ý nhân quả (được che giấu) thực thi rằng mỗi vị trí chỉ nhìn thấy các mã thông báo trước đó. Trong quá trình đào tạo, nó dự đoán song song mọi mã thông báo bằng cách sử dụng sự ép buộc của giáo viên, nhưng khi suy luận, nó phải lấy mẫu từng mã thông báo một lần, đưa lại từng mã thông báo. Một cuốn sách mã đã học ánh xạ các mã thông báo trở lại các mảng hình ảnh, mà bộ giải mã sẽ ghép mẫu thành các pixel cuối cùng.
Tác động chiến lược
Tốc độ và tỷ lệ
Visual AI có thể tự động hóa các nhiệm vụ kiểm tra, phát hiện và gắn thẻ trên quy mô lớn.
Xây dựng lựa chọn
Các nhóm sáng tạo có thể tạo nguyên mẫu nhanh hơn với ít sửa đổi thủ công hơn.
Nhóm và quy trình làm việc
Các hoạt động có thể sử dụng tín hiệu hình ảnh và video mà trước đây khó xử lý.
Tương lai của việc tạo hình ảnh tự hồi phục
Tốc độ là chiến trường trung tâm. Các kỹ thuật như giải mã mã thông báo song song và mã thông báo ẩn (MaskGIT, Muse) tạo ra nhiều mã thông báo cùng một lúc và giải mã suy đoán mượn từ các mô hình ngôn ngữ đang được điều chỉnh cho phù hợp với hình ảnh. Các nhà nghiên cứu cũng đang hợp nhất các mã thông báo văn bản và hình ảnh trong một xương sống tự hồi quy duy nhất để một mô hình có thể đọc và vẽ, như đã thấy trong các hệ thống đa phương thức. Mong đợi các ý tưởng tự hồi quy và phổ biến sẽ tiếp tục hòa trộn, với các mô hình kết hợp nắm bắt được khả năng kiểm soát của mã thông báo và chất lượng của sự khuếch tán.
Triển khai trong thế giới thực
DALL-E 1 tạo ra hình ảnh bằng cách dự đoán tự động một lưới các mã thông báo hình ảnh rời rạc từ chú thích văn bản.
Parti của Google đã mở rộng Trình biến đổi văn bản thành hình ảnh tự động hồi quy lên 20 tỷ tham số để có được cảnh chi tiết, trung thực nhanh chóng.
PixelCNN và PixelRNN đã chứng minh khả năng tạo pixel theo pixel thô và vẫn được sử dụng làm đường cơ sở giảng dạy cho các mô hình dựa trên khả năng.
MaskGIT và Muse sử dụng giải mã mã thông báo đeo mặt nạ song song để tăng tốc độ tổng hợp hình ảnh dựa trên mã thông báo trong khi vẫn duy trì quá trình đào tạo theo kiểu tự động hồi quy.
Rủi ro & lan can
Quyền và sự đồng ý về hình ảnh có thể trở thành rủi ro pháp lý nếu nguồn gốc xuất xứ không rõ ràng.
Hiệu suất của mô hình có thể khác nhau tùy theo ánh sáng, nhân khẩu học và môi trường.
Kết quả dương tính giả có thể không được chú ý trừ khi ngưỡng tin cậy được theo dõi.
Lộ trình thực hiện
Xác định tiêu chí chấp nhận về độ chính xác, thu hồi và chi phí lỗi.
Kiểm tra với dữ liệu phù hợp với điều kiện sản xuất thực tế.
Thêm đánh giá của con người đối với những dự đoán có độ tin cậy thấp hoặc tác động cao.
Theo dõi sự trôi dạt của mô hình và xác nhận lại sau khi thay đổi máy ảnh hoặc tập dữ liệu.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Autoregressive Image Generation quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tạo hình ảnh AI
Câu hỏi thường gặp
What is Autoregressive Image Generation?
Tạo hình ảnh tự hồi quy xây dựng từng hình ảnh một, dự đoán từng mã thông báo từ mọi thứ được tạo trước nó. Điều này quan trọng vì các mô hình ngôn ngữ hỗ trợ máy mã thông báo tiếp theo tương tự có thể tạo ra các hình ảnh mạch lạc, có thể kiểm soát được.
'Tự hồi quy' có nghĩa là gì trong bối cảnh tạo hình ảnh?
Các mô hình tự hồi quy phân tích hình ảnh thành một chuỗi, dự đoán từng mã thông báo hoặc pixel dựa trên tất cả các phần tử được tạo trước nó.
Làm thế nào để các mô hình hình ảnh tự hồi quy hiện đại như DALL-E 1 thường thể hiện một hình ảnh trước khi dự đoán nó?
Các hệ thống hiện đại nén hình ảnh thành các mã thông báo riêng biệt (thường thông qua bộ mã hóa kiểu VQ-VAE), sau đó dự đoán chuỗi mã thông báo đó bằng Transformer.
Những mô hình đầu tiên nào tạo ra từng hình ảnh một pixel thô?
PixelRNN và PixelCNN là những mô hình tự hồi quy tiên phong có chức năng quét và dự đoán từng pixel hình ảnh.
Cơ chế nào đảm bảo Máy biến áp chỉ tham gia vào các mã thông báo trước đó trong quá trình tạo tự hồi quy?
Việc che dấu nhân quả chặn từng vị trí tham dự đến các mã thông báo trong tương lai, thực thi hệ số hóa từ trái sang phải.
Hạn chế thực tế chính của việc lấy mẫu hình ảnh tự hồi quy là gì?
Bởi vì mỗi mã thông báo phụ thuộc vào mã thông báo trước đó nên việc suy luận phải chạy mã thông báo theo mã thông báo, khiến việc tạo tương đối chậm.