Apa yang berlaku
Kertas kerja arXiv yang diserahkan pada 21 Ogos meninjau penyahkodan spekulatif untuk sistem tindakan bahasa penglihatan, bahasa video, audio dan bahasa penglihatan. Ia memisahkan penggubalan selari daripada pilihan reka bentuk lain dan membandingkan pendekatan sedia ada merentas OCR, jawapan soalan visual, penaakulan visual dan penanda aras kapsyen imej. Penulis menyimpulkan bahawa penggubalan blok-selari berasaskan resapan, yang telah mempercepatkan penjanaan teks, belum lagi diwujudkan secukupnya untuk model multimodal.
Makalah ini mengkaji penyahkodan spekulatif, satu cara untuk mempercepatkan penjanaan autoregresif. Sistem penggubalan yang lebih kecil mencadangkan beberapa token masa hadapan, manakala sistem sasaran yang lebih besar menyemaknya secara selari. Jika cadangan diterima, sistem sasaran boleh menghasilkan output dengan langkah berurutan yang lebih sedikit. Sumber itu berkata pendekatan ini telah mendorong usaha untuk menjadikan penggubal itu sendiri menjana blok secara selari, termasuk kaedah berasaskan resapan seperti DFlash dan DSpark. Kaedah tersebut telah mencapai kelajuan sehingga 3.6 kali ganda pada tugas sembang harian biasa, menurut ringkasan kertas kerja sebelumnya. Angka itu tidak dibentangkan sebagai hasil yang baru ditubuhkan oleh kertas ini untuk sistem multimodal. Persoalan utama ialah sama ada arah umum yang sama berfungsi apabila sistem AI mesti mengendalikan lebih daripada teks.
Penulis meninjau empat keluarga seni bina yang luas: model bahasa penglihatan, model bahasa video, model audio dan sistem tindakan bahasa penglihatan. Sistem ini berbeza dalam maklumat yang mereka terima dan dalam cara modaliti berinteraksi semasa penjanaan. Makalah itu berpendapat bahawa penyelidikan penyahkodan spekulatif berbilang mod setakat ini tertumpu pada pemampatan input, penjajaran penyesuai, liputan calon dan pengesahan khusus modaliti. Sebaliknya, penggubalan generatif selari blok masih belum diterokai dalam tetapan multimodal. Penulis memperkenalkan taksonomi yang bertujuan untuk membezakan keselarian penggubal daripada bahagian lain sistem penyahkodan spekulatif. Perbezaan ini penting kerana sistem boleh menggunakan penjanaan calon berbentuk pokok atau strategi pengesahan tertentu tanpa benar-benar membuat proses penggubalan itu sendiri selari. Mengasingkan elemen tersebut mungkin menjadikan perbandingan lebih bermakna dan membantu penyelidik mengenal pasti komponen mana yang bertanggungjawab untuk keuntungan yang dilaporkan. Sumber menerangkan taksonomi ini sebagai satu cara untuk mengatur bidang yang kaedahnya sering menggabungkan beberapa pilihan reka bentuk.
Makalah ini juga melaporkan perbandingan empirikal seni bina silang di bawah tahap paralelisme yang berbeza. Penilaian merangkumi tugasan piawai yang melibatkan pengecaman aksara optik, menjawab soalan visual, penaakulan visual dan kapsyen imej. Abstrak tidak mendedahkan markah penanda aras individu, nama model, konfigurasi perkakasan, ukuran kependaman atau kadar penerimaan. Oleh itu, ia menetapkan skop kajian dan persoalan kajian, tetapi bukan akaun berangka yang lengkap tentang kaedah yang berprestasi terbaik dalam setiap tetapan. Sumber membentangkan kerja sebagai tinjauan dan diagnosis kesediaan dan bukannya pengumuman produk atau penggunaan yang ditunjukkan.
Mengapa ia penting
Sistem AI multimodal memproses imej, video, audio atau input dunia fizikal, dan kependamannya boleh mengehadkan penggunaan praktikal. Penjanaan yang lebih pantas boleh mengurangkan masa menunggu dan kos inferens, tetapi kertas itu menunjukkan bahawa teknik yang dibangunkan untuk model teks sahaja tidak boleh diandaikan untuk dipindahkan ke sistem multimodal. Nilainya adalah diagnostik terutamanya: ia mengenal pasti perkara yang mesti diuji sebelum kaedah pecutan ini boleh dianggap sebagai boleh dipercayai.
Isu praktikal ialah kependaman. Sistem multimodal boleh digunakan untuk mentafsir dokumen, menjawab soalan tentang imej, menerangkan kandungan visual, memproses audio atau video, atau menghubungkan persepsi dengan tindakan. Dalam setiap kes, penjanaan yang memerlukan banyak langkah berurutan boleh menjadikan aplikasi lebih perlahan dan lebih mahal untuk dikendalikan. Kaedah penyahkodan spekulatif yang berjaya boleh membenarkan model sasaran yang lebih besar untuk mengesahkan berbilang langkah yang dicadangkan bersama-sama, yang berpotensi mengurangkan jumlah pengiraan berjujukan. Perbincangan kertas itu menjadikan ini sebagai arah kejuruteraan yang munasabah, tetapi ia tidak mewujudkan pengurangan kos pengeluaran.
Kertas ini berguna kerana ia mencabar andaian biasa dalam pengoptimuman AI: bahawa teknik yang berfungsi untuk teks akan dipindahkan secara automatik ke modaliti lain. Sistem multimodal mesti menyelaraskan maklumat merentas input, dan outputnya mungkin mempunyai struktur dan corak ralat yang berbeza. Draf yang boleh diterima untuk satu modaliti atau tugasan mungkin tidak boleh diterima apabila maklumat visual, audio, temporal atau berkaitan tindakan terlibat. Dengan membandingkan beberapa seni bina dan jenis tugas, kajian ini boleh membantu penyelidik melihat di mana kaedah umum gagal dan di mana reka bentuk khusus modaliti masih diperlukan. Taksonominya juga mempunyai implikasi untuk cara tuntutan prestasi AI disampaikan. Percepatan yang dilaporkan boleh timbul daripada beberapa sumber, termasuk input yang lebih pendek, penyesuai yang lebih sejajar, liputan calon yang lebih luas, pengesahan yang lebih cekap atau keselarian tulen dalam penggubal. Mekanisme tersebut mempunyai pertukaran yang berbeza dan mungkin tidak digeneralisasikan secara sama.
Mengasingkan mereka boleh memudahkan jurutera dan pembeli menilai sama ada tuntutan pecutan terpakai pada beban kerja mereka sendiri. Ini amat relevan untuk organisasi yang menilai sistem multimodal pada gabungan dokumen, imej, video dan tugas audio dan bukannya pada satu penanda aras. Sumber itu tidak menunjukkan bahawa penggubalan berasaskan resapan sedia untuk diterima pakai secara meluas. Walau bagaimanapun, ia mengenal pasti kesesakan konkrit dalam laluan daripada prototaip penyelidikan kepada perkhidmatan multimodal yang boleh dipercayai: membuktikan bahawa peningkatan kelajuan bertahan merentas seni bina dan tugas tanpa kehilangan kualiti yang tidak boleh diterima. Oleh itu kepentingan kertas itu adalah metodologi sama seperti teknikal. Ia memberikan medan rangka kerja untuk bertanya sama ada pengoptimuman meningkatkan gelagat inferens sebenar, dan bukannya bergantung pada hasil daripada model teks sahaja atau pada satu modaliti.
Mekanisme Interaktif: Bagaimana Ia Berfungsi Sebenarnya
Terokai teknologi asas di sebalik pembangunan ini secara interaktif.
Which component of an AI application is the machine-learning model itself?
Apa yang perlu ditonton seterusnya
Bukti penting seterusnya ialah ujian multimodal langsung penggubal berasaskan resapan, termasuk pengekalan kualiti, kos pengesahan dan prestasi merentas modaliti. Abstrak kertas itu tidak memberikan hasil berangka terperinci, butiran pelaksanaan atau bukti penggunaan. Oleh itu, pembaca harus menganggap peluang yang dilaporkan sebagai penemuan penyelidikan dan masalah terbuka, bukan sebagai bukti bahawa kaedah pecutan sedia pengeluaran wujud.
Soalan pertama ialah sama ada kerja masa hadapan boleh menunjukkan penggubalan berasaskan resapan berbilang mod dengan ukuran hujung ke hujung yang boleh dihasilkan semula. Laporan berguna perlu menunjukkan lebih daripada kelajuan penjanaan draf. Mereka harus mengenal pasti sasaran dan model penggubalan, perkakasan, keadaan kelompok, panjang jujukan, prosedur pengesahan dan jumlah output yang diterima. Tanpa butiran tersebut, adalah sukar untuk membandingkan keputusan atau menentukan sama ada keuntungan ketara datang daripada kaedah penggubalan itu sendiri atau daripada perubahan sistem yang tidak berkaitan.
Pengekalan kualiti akan menjadi sama penting. Skop penanda aras kertas itu termasuk OCR, jawapan soalan visual, penaakulan visual dan kapsyen imej, tetapi abstraknya tidak memberikan hasil untuk tugasan tersebut. Penilaian masa depan harus menunjukkan sama ada penggubalan selari mengekalkan ketepatan dan pembumian pelbagai mod apabila tahap keselarian meningkat. Kaedah yang pantas pada kapsyen tetapi tidak boleh dipercayai pada penaakulan visual akan mempunyai peranan praktikal yang lebih sempit daripada yang dicadangkan oleh tuntutan pecutan umum. Medan ini juga memerlukan bukti merentas sistem video, audio dan tindakan bahasa penglihatan, bukan sahaja imej statik dan beban kerja teks. Tetapan ini memperkenalkan maklumat temporal atau berkaitan tindakan yang mungkin menyukarkan pengesahan. Sumber itu mengenal pasti seni bina ini sebagai sebahagian daripada tinjauannya, tetapi ia tidak mengatakan bahawa penggubalan berasaskan resapan telah diselesaikan untuk mereka.
Oleh itu, tuntutan penggunaan harus dinilai secara berasingan mengikut modaliti, seni bina dan tugas. Akhir sekali, pembaca harus melihat sama ada penyelidikan menghasilkan pelaksanaan terbuka, protokol penilaian piawai dan replikasi bebas. Sumber tidak memberikan maklumat tentang ketersediaan kod, penyepaduan komersial, akses pengguna atau ujian operasi. Perkara yang tidak diketahui itu penting kerana kaedah boleh kelihatan menjanjikan dalam penanda aras terkawal namun menghadapi kos tambahan daripada penggunaan memori, pengesahan, orkestrasi atau pengendalian kegagalan dalam perkhidmatan langsung. Sehingga bukti sedemikian muncul, kesimpulan yang boleh dipertahankan ialah penyahkodan spekulatif berbilang mod ialah kawasan penyelidikan aktif dengan peluang yang dipetakan, bukan keupayaan pengeluaran yang diselesaikan.