Google Membawa AI Bahasa Isyarat ke Gboard dan Transkripsi Langsung

Apa yang berlaku

Google DeepMind berkata ia sedang memindahkan AI bahasa isyarat ke dalam produk pengguna dengan SL2T, model terjemahan bahasa isyarat-ke-teks kini menjana imlak Bahasa Isyarat Amerika kepada Bahasa Inggeris dalam Gboard dan Transkripsi Langsung pada Pixel 11. Syarikat merangka keluaran itu sebagai langkah pertama: lebih banyak peranti akan datang, dan penggunaan bahasa isyarat tambahan tidak dirancangkan, tetapi penggunaan bahasa isyarat tambahan tidak dirancangkan. Dalam Gboard, pengguna boleh menandatangani tempat mereka biasanya menaip, termasuk semasa mencari di web atau mendraf mesej atau dokumen. Dalam Transkripsi Langsung, penggunaan yang dimaksudkan ialah menandatangani respons semasa perbualan tanpa beralih kembali kepada bahasa Inggeris yang ditaip.

Keluaran ini ketara kerana ia menghubungkan model penyelidikan ke permukaan input harian dan bukannya mempersembahkan terjemahan bahasa isyarat hanya sebagai demonstrasi makmal. Google DeepMind berkata SL2T boleh menghasilkan teks penstriman semasa seseorang menandatangani dan bahawa penyepaduan Android tersedia terlebih dahulu pada Pixel 11 tanpa kos tambahan. Sumber menerangkan ASL-ke-Inggeris sebagai arah pertama yang disokong. Ia tidak menyatakan bahawa ciri itu menterjemah antara semua bahasa isyarat, menukar teks kembali kepada tandatangan atau menggantikan jurubahasa profesional dalam tetapan berkepentingan tinggi.

Google mengatakan SL2T telah dilatih mengenai lebih daripada 100,000 jam data yang merangkumi lebih daripada 50 bahasa isyarat, dengan kira-kira satu perempat daripada data tersebut dalam ASL. Pasukan itu berkata latihan bersama merentas bahasa, dialek dan tahap kecekapan membantu model mempelajari struktur yang dikongsi dan bukannya menganggap setiap bahasa sebagai senarai gerak isyarat terpencil. Pilihan reka bentuk itu penting kerana bahasa isyarat adalah bahasa semula jadi yang bebas dengan tatabahasa dan leksikonnya sendiri. Mereka juga menyatakan makna melalui pergerakan tangan, lengan, badan, kepala, dan muka serentak, menjadikan tugasan itu gabungan persepsi visual dan terjemahan dan bukannya padanan isyarat mudah.

Reka bentuk privasi model juga merupakan sebahagian daripada tuntutan produk. Google DeepMind mengatakan model MediaPipe Holistik pada peranti menjejaki tanda tempat dan perkhidmatan terjemahan menerima koordinat geometri dan bukannya suapan kamera mentah. Syarikat itu berkata video asal kemudiannya boleh dibuang serta-merta. SL2T menterjemahkan jujukan tanda tempat terus ke dalam teks dan bukannya menukar tandatangan menjadi perwakilan gloss perantaraan terlebih dahulu. Ini mungkin mengurangkan satu sumber perbendaharaan kata dan kekangan anotasi, tetapi pengumuman awam tidak memberikan audit bebas pengekalan, telemetri, pengendalian kegagalan atau setiap butiran pelaksanaan peringkat peranti.

Mengenai prestasi yang dilaporkan, Google DeepMind berkata SL2T mencapai skor sifar pukulan 70 BLEURT pada ujian sd FLEURS-ASL, yang disifatkannya sebagai lebih tinggi daripada markah yang dilaporkan sebelum ini. Syarikat itu juga mengatakan bahawa ia berfungsi pada kependaman penstriman, halusinasi input tanpa tandatangan, tandatangan tangan kiri, dan tandatangan sebelah tangan apabila tangan sebelah lagi memegang telefon. Contohnya menunjukkan baki ralat dalam tanda yang jarang berlaku, ejaan jari pantas, binaan pasif, gambaran pengelas dan tegang yang bergantung pada konteks. Oleh itu, keluaran itu menggabungkan tuntutan penanda aras yang kukuh dengan amaran yang jelas bahawa kualiti penanda aras tidak sama dengan perbualan yang boleh dipercayai.

Butiran sumber: Google DeepMind's SL2T announcement ↗

Mengapa ia penting

Peralihan praktikal adalah daripada bertanya sama ada AI boleh mengecam klip bahasa isyarat kepada bertanya sama ada menandatangani boleh menjadi kaedah input yang boleh digunakan dalam aliran kerja telefon biasa. Bagi pengguna Pekak dan kurang pendengaran, nilai alat ditentukan oleh sama ada ia berfungsi pada kelajuan perbualan, menghormati struktur bahasa, mengendalikan variasi sebenar dan memberi orang kawalan ke atas perkara yang dikongsi. Model yang muncul di dalam Gboard dan Transkripsi Langsung menjadikan soalan tersebut kelihatan kepada pengguna biasa dan bukannya hanya kepada penyelidik.

Sokongan bahasa isyarat mempunyai beban kebolehaksesan yang berbeza daripada imlak pertuturan. Transkripsi bahasa pertuturan sebahagian besarnya memetakan aliran bunyi mengikut masa ke dalam teks, manakala sistem bahasa isyarat mesti mentafsir pergerakan, ruang, ekspresi muka dan struktur tatabahasa pada masa yang sama. Sumber utama menekankan bahawa bahasa isyarat bukanlah bahasa Inggeris yang diungkapkan di tangan. Perbezaan itu penting untuk reka bentuk produk: sistem boleh kelihatan lancar sementara masih tiada penanda bukan manual, rujukan spatial, pengelas atau perubahan tegang yang membawa maksud ayat.

Talian paip mercu tanda menawarkan arah privasi konkrit untuk ciri kebolehcapaian berasaskan kamera. Jika hanya koordinat titik badan meninggalkan peranti, perkhidmatan tidak perlu menerima video asal untuk setiap permintaan terjemahan. Itu boleh mengurangkan sensitiviti data yang dihantar ke hulu, terutamanya apabila tandatangan berlaku di rumah, tempat kerja atau perbualan awam. Ia bukan jaminan privasi yang lengkap. Koordinat pose masih boleh menggambarkan seseorang dan tingkah laku mereka, dan pengguna memerlukan maklumat yang jelas tentang log, pautan akaun, penambahbaikan model, pengekalan dan perkara yang berlaku apabila peranti tidak dapat memproses input secara setempat.

Contoh produk juga menunjukkan sebab kegunaan bergantung pada lebih daripada nombor ketepatan tajuk. Menandatangani untuk mencari, mengarang mesej atau meminta Gemini menyelesaikan tugas boleh mengalih keluar langkah menaip berulang. Menandatangani respons dalam Transkripsi Langsung boleh menjadikan pertukaran pendek lebih lancar. Tetapi kemudahan yang sama meningkatkan kos ralat jika nama, penolakan, nombor atau arahan disalah terjemah dan pengguna tidak menyedarinya sebelum menghantarnya. Oleh itu, standard yang betul boleh dilihat, output boleh diedit dan cara cepat untuk membetulkan atau mengulang frasa, bukan andaian bahawa teks penstriman adalah betul secara automatik.

Pengumuman itu datang daripada syarikat membina dan menghantar model, jadi penanda aras dan perbandingan pengujinya harus dibaca sebagai tuntutan sumber dan bukannya pengesahan bebas. Google DeepMind menyediakan had berguna dan mengatakan bahawa ia telah mewujudkan Jawatankuasa Penasihat Bahasa Isyarat AI dengan organisasi Pekak dan pakar subjek, serta laporan impak bersama untuk keluaran itu. Proses penyertaan itu ialah isyarat yang bermakna, tetapi proses itu belum memberitahu orang ramai tentang prestasi berbeza mengikut penandatangan, dialek, pencahayaan, sudut kamera, kelajuan tandatangan atau konteks perbualan merentas pelancaran yang dirancang.

Apa yang perlu ditonton seterusnya

Bukti seterusnya harus menunjukkan sama ada SL2T kekal berguna di luar contoh terkawal dalam jawatan pelancaran. Tonton pelancaran peranti sebenar, maklum balas komuniti, pemulihan ralat, dokumentasi privasi dan ujian bebas merentas penandatangan dan bahasa isyarat. Keluaran ini merupakan langkah produk yang penting, tetapi ini bukan bukti bahawa terjemahan bahasa isyarat telah mencapai persamaan dengan tafsiran manusia atau imlak bahasa pertuturan.

Pertama, lihat peranti dan bahasa yang menerima sokongan, dan bila. Google DeepMind berkata Pixel 11 ialah titik permulaan, dengan lebih banyak peranti dan bahasa untuk diikuti, tetapi ia tidak memberikan jadual waktu awam atau senarai keserasian lengkap dalam pengumuman. Pelancaran yang bermakna harus mendedahkan ketersediaan serantau, keadaan kamera yang disokong, liputan bahasa dan dialek, keperluan pemprosesan peranti dan sama ada tingkah laku privasi yang sama berlaku merentas generasi perkakasan. Butiran tersebut akan menentukan sama ada keluaran itu merupakan ciri kebolehaksesan yang berguna secara meluas atau ruang pameran sempit yang dilampirkan pada satu talian telefon.

Kedua, cari penilaian yang mengukur komunikasi sebenar dan bukannya hanya penanda aras yang diketepikan. Pelaporan yang berguna akan memecahkan ralat perkataan dan makna mengikut penanda tangan, dialek, kecekapan, tangan, penggunaan sebelah tangan, kelajuan, pencahayaan, pembingkaian dan gerakan latar belakang. Ia harus termasuk kependaman, positif palsu yang tidak ditandatangani, pembetulan, giliran jatuh dan masa yang diperlukan untuk pulih daripada ralat. Skor FLEURS-ASL ialah titik permulaan yang konkrit, tetapi contoh sumber sendiri menunjukkan sebab tanda jarang, ejaan jari, pengelas dan tegang bergantung konteks memerlukan perhatian yang berasingan.

Ketiga, perhatikan sempadan privasi dan keselamatan apabila ciri tersebut disambungkan kepada produk Google yang lain. Strim tanda ke teks yang boleh mencari, mendraf atau meminta Gemini untuk melaksanakan tugas memerlukan pengesahan yang jelas sebelum tindakan luaran, terutamanya apabila terjemahan tidak pasti. Pengguna seharusnya dapat melihat perkara yang ditangkap, mengeditnya sebelum menghantar, memadamkan sejarah yang berkaitan dan memahami sama ada koordinat atau teks terbitan dikekalkan. Keluaran awam menerangkan pendekatan mercu tanda, tetapi ia tidak menyelesaikan soalan produk mengenai kebenaran, diagnostik, pemprosesan awan atau kawalan data peringkat akaun.

Akhir sekali, cari laporan impak bersama, pengeluaran semula bebas dan maklum balas daripada komuniti Pekak apabila sistem menjangkau lebih ramai orang. Google DeepMind berkata jawatankuasa penasihatnya akan mempengaruhi keutamaan pembangunan dan ia merancang untuk meneruskan pendekatan untuk keluaran utama. Tindakan susulan yang paling kuat akan menjadikan komitmen tersebut boleh diukur: menerbitkan had mengikut bahasa dan tetapan, menunjukkan cara ralat yang dilaporkan mengubah peta jalan dan membenarkan pengguna membezakan bantuan terjemahan percubaan daripada pengganti penterjemah yang boleh dipercayai. Sehingga bukti itu tiba, SL2T paling baik difahami sebagai penggunaan pengguna pertama yang menjanjikan dengan ketidakpastian yang bermakna dan dinyatakan secara terbuka.

Panduan & kuiz berkaitan