SeterusnyaPanduan seterusnya
Penjanaan Teks-ke-3D
AI Visual
PANDUAN AI Visual
GLIGEN Generasi Berasaskan
GLIGEN (Grounded-Language-to-Image Generation) membolehkan anda mengawal dengan tepat di mana objek muncul dalam imej yang dijana dengan menyuap kotak sempadan model dan label bersama gesaan teks.
Dengar panduan iniAI-diceritakan · ~2 min
Pada halaman ini2 min dibaca
Gambaran keseluruhan
Menukarkan teks tidak jelas ke dalam imej menjadi sintesis yang tepat dan boleh dikawal susun atur.
Menyelam dalam
Model teks-ke-imej standard bergelut dengan kawalan spatial: minta 'kucing di sebelah kiri anjing' dan anda sering tersalah letak. GLIGEN, yang diperkenalkan pada 2023, menyelesaikan masalah ini dengan menambahkan input pembumian seperti kotak sempadan yang dipasangkan dengan entiti teks atau imej, titik kekunci atau imej rujukan. Yang penting, ia membekukan pemberat model resapan terlatih asal dan menyuntik lapisan perhatian kendiri berpagar baharu yang menyerap token pembumian. Ini bermakna ia membina model seperti Stable Diffusion tanpa memusnahkan pengetahuan yang dipelajari, dan gating bermula hampir sifar supaya tingkah laku model asas dikekalkan pada awal latihan. Hasilnya ialah penjanaan berasaskan dunia terbuka: anda boleh meletakkan objek yang diterangkan sewenang-wenangnya di lokasi tertentu, dan ia digeneralisasikan kepada konsep dan reka letak yang tidak dilihat semasa latihan pembumian.
Pelaksanaan Dunia Sebenar
Meletakkan logo atau produk di kawasan yang tepat bagi iklan yang dijana menggunakan kotak sempadan
Mengarang adegan yang kompleks dengan menentukan di mana setiap watak atau objek harus duduk sebelum membuat persembahan
Menjana data latihan untuk pengesanan objek dengan lokasi kotak kebenaran tanah yang diketahui
Mengecat objek yang diterangkan ke dalam kawasan yang dilukis pengguna pada foto sedia ada
Masa Depan Generasi Berasaskan GLIGEN
Penjanaan yang dibumikan dan terkawal susun atur menjadi standard dalam alat pengeluaran. Jangkakan penyaman spatial gaya GLIGEN untuk bergabung dengan kaedah kawalan lain seperti ControlNet dan gesaan serantau, dan meluas ke dalam video dan 3D di mana peletakan objek dari semasa ke semasa dan ruang lebih penting. Apabila model menggunakan antara muka mengikut arahan, kawalan susun atur seret dan lepas dan graf adegan yang ditentukan bahasa akan menjadikan komposisi tepat boleh diakses tanpa helah kejuruteraan segera.
Mempraktikkannya
Mengapa ia penting
- Kelajuan dan skala. Visual AI boleh mengautomasikan tugas pemeriksaan, pengesanan dan penandaan pada skala.
- Pilihan binaan. Pasukan kreatif boleh membuat prototaip konsep dengan lebih pantas dengan lebih sedikit semakan manual.
- Pasukan dan aliran kerja. Operasi boleh menggunakan isyarat imej dan video yang sebelum ini sukar diproses.
Berhati-hati untuk
- Hak imej dan persetujuan boleh menjadi risiko undang-undang jika asalnya tidak jelas.
- Prestasi model boleh berbeza mengikut pencahayaan, demografi dan persekitaran.
- Positif palsu mungkin tidak disedari melainkan ambang keyakinan dipantau.
Langkah seterusnya
- Tentukan kriteria penerimaan untuk ketepatan, ingatan semula dan kos ralat.
- Uji dengan data yang sepadan dengan keadaan pengeluaran sebenar.
- Tambahkan semakan manusia untuk ramalan keyakinan rendah atau berimpak tinggi.
- Jejaki hanyut model dan sahkan semula selepas perubahan kamera atau set data.
Teruskan Meneroka
Newsletter percuma
Dapatkan taklimat AI harian
Tiga cerita AI yang disahkan setiap pagi hari bekerja, ditulis dalam Bahasa Inggeris biasa. Percuma selamanya, tiada iklan.
Satu e-mel setiap hari bekerja. Berhenti melanggan dalam satu klik. Kami tidak pernah menjual atau berkongsi alamat anda.
Uji diri anda
Ambil kuiz GLIGEN Grounded Generation
Maklum balas segera pada setiap jawapan, dan sijil yang boleh dikongsi dengan ID yang boleh disahkan sebaik sahaja anda lulus kursus.
Sokong pendidikan AI percuma. AI Understanding ialah pertubuhan bukan keuntungan 501(c)(3) — tiada iklan, tiada bayaran dinding, selamanya. Buat derma
Soalan lazim
Apakah ZXQAIUZ Grounded Generation?
GLIGEN (Grounded-Language-to-Image Generation) membolehkan anda mengawal dengan tepat di mana objek muncul dalam imej yang dijana dengan menyuap kotak sempadan model dan label bersama gesaan teks. Ia menukar teks-ke-imej yang samar-samar menjadi sintesis yang boleh dikawal reka letak yang tepat.
Apakah masalah yang paling utama diselesaikan oleh GLIGEN?
GLIGEN menambah input pembumian seperti kotak sempadan supaya anda boleh mengawal dengan tepat di mana objek diletakkan, yang gesaan teks biasa dikendalikan dengan buruk.
Bagaimanakah GLIGEN mengekalkan pengetahuan tentang model resapan terlatih?
GLIGEN membekukan model asas dan menyuntik lapisan perhatian diri berpagar baharu, supaya pengetahuan asal yang dipelajari kekal utuh.
Apakah input pembumian biasa yang diterima GLIGEN?
GLIGEN menyokong pembumian melalui kotak sempadan dengan entiti teks/imej, titik kekunci dan imej rujukan.
Mengapakah get dalam lapisan perhatian baharu GLIGEN dimulakan kepada sifar?
Gerbang yang dimulakan sifar bermakna pembumian tidak mempunyai kesan pada mulanya, mengekalkan model asal dan mengekalkan latihan yang stabil apabila kawalan meningkat.
Apakah maksud generasi berasaskan 'dunia terbuka' dalam GLIGEN?
GLIGEN membuat generalisasi di luar set latihan asasnya, meletakkan objek yang diterangkan novel di lokasi tertentu.
Teruskan belajar
Panduan berkaitan
Lebih banyak panduan dipilih untuk topik ini