Pengimejan Autoregresif Parti Pathways
Parti (Pathways Autoregressive Text-to-Image) menjana gambar cara model bahasa menulis ayat: satu token imej pada satu masa, meramalkan yang seterusnya daripada semua yang datang sebelum ini.
Gambaran keseluruhan
Ia penting kerana ia menunjukkan bahawa hanya dengan menskala model urutan boleh menghasilkan imej yang sangat terperinci dan setia kepada prompt.
Menyelam dalam
Parti menganggap penjanaan imej sebagai masalah terjemahan urutan ke urutan, sama seperti terjemahan mesin. Tokenizer ViT-VQGAN mula-mula mengekod imej ke dalam urutan token diskret yang diambil daripada buku kod yang dipelajari. Pengekod Transformer membaca gesaan teks, dan penyahkod Transformer kemudian menjana token imej secara autoregresif, setiap satu dikondisikan pada teks dan pada token yang dikeluarkan sebelum ini. Selepas semua token dihasilkan, penyahkod tokenizer membina semula piksel. Google menskalakan Parti daripada 350 juta sehingga 20 bilion parameter, dan kualiti imej serta penjajaran teks bertambah baik dengan saiz. Model 20B mengendalikan gesaan gubahan yang panjang, menghasilkan teks yang boleh dibaca dan butiran halus yang dihormati. Parti juga memperkenalkan penanda aras PartiPrompts, satu set lebih 1,600 gesaan mencabar yang merangkumi banyak kategori dan tahap kesukaran.
Wawasan Teknikal
Ciri yang menentukan ialah autoregresi tulen ke atas token visual diskret: model memfaktorkan imej sebagai produk kebarangkalian token seterusnya bersyarat, semangat yang sama dengan penjanaan teks gaya GPT. Ini menyatukan visi dan bahasa di bawah satu resipi latihan dan membolehkannya mewarisi helah pemodelan jujukan selama beberapa dekad. Kosnya adalah penyahkodan berjujukan, kerana token mesti dihasilkan mengikut urutan, yang menjadikan penjanaan lebih perlahan daripada pendekatan selari, tetapi ia berskala dengan boleh diramal dan mendapat manfaat secara langsung daripada model yang lebih besar.
Kesan Strategik
Kelajuan dan skala
Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
Pilihan binaan
Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
Pasukan dan aliran kerja
Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Masa Depan Pengimejan Autoregresif Parti Pathways
Pengimejan autoregresif menikmati kebangkitan kerana tulang belakang yang sama boleh memodelkan teks, imej, audio dan video sebagai satu aliran token, membolehkan model multimodal yang benar-benar bersatu. Penyelidikan sedang menangani kelemahan utamanya, pensampelan berurutan yang perlahan, dengan penyahkodan spekulatif, ramalan token selari dan tokenizer yang lebih baik. Jangkakan teras autoregresif dalam pembantu am yang menyelangi pembacaan, penaakulan dan penjanaan imej, dan untuk melihat undang-undang penskalaan mendorong ketepatan gubahan dan pemaparan teks dalam imej yang boleh dipercayai dengan lebih jauh lagi.
Pelaksanaan Dunia Sebenar
Memaparkan adegan berbilang objek yang kompleks daripada gesaan deskriptif yang panjang, seperti susunan haiwan, objek dan latar belakang yang khusus.
Menjana imej yang mengandungi perkataan atau tanda bertulis yang boleh dibaca, yang susunan autoregresif membantu mengeja teks dengan betul.
Penandaarasan dan sistem teks-ke-imej ujian tekanan menggunakan suite PartiPrompts merentas kategori seperti pengetahuan dunia dan konsep abstrak.
Menghasilkan ilustrasi terperinci untuk gesaan yang memerlukan pengiraan tepat dan perhubungan ruang antara banyak elemen.
Risiko & Pengawal
Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Hala Tuju Pelaksanaan
Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Parti Pathways Autoregressive Imaging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Panduan seterusnya
Penjanaan Imej Autoregresif
Soalan lazim
Apakah itu Pengimejan Autoregresif Parti Pathways?
Parti (Pathways Autoregressive Text-to-Image) menjana gambar cara model bahasa menulis ayat: satu token imej pada satu masa, meramalkan yang seterusnya daripada semua yang datang sebelum ini. Ia penting kerana ia menunjukkan bahawa hanya menskalakan model jujukan boleh menghasilkan imej yang sangat terperinci dan pantas.
Bagaimanakah Parti menjana imej?
Parti adalah autoregresif: ia menghasilkan token imej secara berurutan, setiap satu dikondisikan pada teks dan pada token yang dijana sebelum ini.
Apakah pembingkaian keseluruhan yang Parti gunakan untuk tugasan teks ke imej?
Parti menganggap penjanaan seperti terjemahan mesin: pengekod membaca teks dan penyahkod mengeluarkan token imej, persediaan urutan ke turutan klasik.
Apakah yang ditunjukkan oleh penskalaan Parti sehingga 20 bilion parameter?
Apabila Parti meningkat daripada parameter 350M kepada 20B, kedua-dua kesetiaan dan kesetiaan segera bertambah baik, termasuk gesaan gubahan yang lebih baik dan teks yang boleh dibaca.
Apakah yang menukar imej kepada token diskret untuk Parti?
Parti menggunakan ViT-VQGAN untuk mengekod imej ke dalam jujukan token diskret yang kemudiannya dipelajari oleh penyahkod Transformer untuk diramalkan.
Apakah kelemahan utama penyahkod autoregresif Parti?
Oleh kerana setiap token bergantung pada yang sebelumnya, penjanaan adalah berurutan dan lebih perlahan daripada kaedah selari, walaupun ia berskala boleh diramalkan.