Google Внася AI на езика на знаците в Gboard и транскрибиране на живо

Какво стана

Google DeepMind says it is moving sign-language AI into consumer products with SL2T, a sign-language-to-text translation model now powering American Sign Language to English dictation in Gboard and Live Transcribe on Pixel 11. The company frames the release as a first step: more devices are coming, and additional sign languages are planned, but the announcement does not describe a universal rollout across Android hardware. В Gboard потребителят може да подпише там, където обикновено пише, включително когато търси в мрежата или изготвя съобщение или документ. В Незабавно преписване предвидената употреба е подписване на отговор по време на разговор без превключване обратно към въведен английски.

The release is notable because it connects a research model to an everyday input surface rather than presenting sign-language translation only as a lab demonstration. Google DeepMind says SL2T can produce streaming text while a person signs, and that the Android integrations are available first on Pixel 11 at no additional cost. Източникът описва ASL към английски като първата поддържана посока. It does not say that the feature translates between all sign languages, converts text back into signing, or replaces a professional interpreter in high-stakes settings.

Google says SL2T was trained on more than 100,000 hours of data spanning over 50 sign languages, with roughly one quarter of that data in ASL. The team says joint training across languages, dialects, and proficiency levels helps the model learn shared structure instead of treating each language as an isolated gesture list. Този избор на дизайн има значение, тъй като жестомимичните езици са независими естествени езици със собствени граматики и лексикони. They also express meaning through simultaneous hand, arm, torso, head, and facial movements, making the task a combination of visual perception and translation rather than simple gesture matching.

Дизайнът за поверителност на модела също е част от заявката за продукта. Google DeepMind says an on-device MediaPipe Holistic model tracks pose landmarks, and that the translation service receives geometric coordinates rather than the raw camera feed. Компанията казва, че оригиналното видео може да бъде изхвърлено веднага. SL2T превежда последователността от ориентир директно в текст, вместо първо да преобразува подписа в междинно гланцово представяне. Това може да намали ограниченията на един източник на речник и анотации, но публичното съобщение не предоставя независим одит на задържането, телеметрията, обработката на повреди или всеки детайл на изпълнението на ниво устройство.

Относно отчетената производителност, Google DeepMind казва, че SL2T е достигнал резултат от нулев удар от 70 BLEURT на sd-теста FLEURS-ASL, който той описва като по-висок от докладваните по-рано резултати. The company also says it worked on streaming latency, non-signing-input hallucinations, left-handed signing, and one-handed signing when the other hand holds a phone. Неговите примери показват оставащи грешки в редки знаци, бързо изписване с пръсти, пасивни конструкции, описания на класификатори и време, което зависи от контекста. Следователно изданието комбинира силно твърдение за бенчмарк с изрично предупреждение, че качеството на бенчмарка не е същото като надежден разговор.

Детайли за източника: Google DeepMind's SL2T announcement ↗

Защо има значение

The practical shift is from asking whether AI can recognize a sign-language clip to asking whether signing can become a usable input method in a familiar phone workflow. For Deaf and hard-of-hearing users, the value of a tool is determined by whether it works at conversational speed, respects the structure of the language, handles real variation, and gives people control over what is shared. Модел, който се появява в Gboard и Live Transcribe, прави тези въпроси видими за обикновените потребители, а не само за изследователите.

Поддръжката на жестомимичен език има различна тежест за достъпност от устната диктовка. Spoken-language transcription largely maps a time-ordered sound stream into text, while a sign-language system must interpret movement, space, facial expression, and grammatical structure at the same time. Първичният източник подчертава, че езиците на знаците не са английски, изразени на ръцете. That distinction is important for product design: a system can appear fluent while still missing a non-manual marker, spatial reference, classifier, or change in tense that carries the meaning of the sentence.

Основният тръбопровод предлага конкретна насока за поверителност за функции за достъпност, базирани на камера. Ако само координатите на телесна точка напускат устройството, услугата не трябва да получава оригиналното видео за всяка заявка за превод. Това може да намали чувствителността на данните, изпратени нагоре, особено когато подписването се извършва в дома, на работното място или в публичен разговор. Това не е пълна гаранция за поверителност. Pose coordinates can still describe a person and their behavior, and users need clear information about logs, account linkage, model improvement, retention, and what happens when a device cannot process the input locally.

Примерите за продукти показват също защо полезността зависи от нещо повече от число за точност на заглавието. Подписването за търсене, съставяне на съобщение или искане на Gemini да изпълни задача може да премахне повтарящите се стъпки за въвеждане. Подписването на отговор в Live Transcribe може да направи краткия обмен по-плавен. Но същото удобство повишава цената на грешка, ако име, отрицание, число или инструкция са преведени неправилно и потребителят не забележи, преди да ги изпрати. Следователно правилният стандарт е видим, редактируем изход и бърз начин за коригиране или повторение на фраза, а не предположението, че поточно предаваният текст е автоматично правилен.

Съобщението идва от компанията, която изгражда и доставя модела, така че сравненията с бенчмарк и тестер трябва да се четат като твърдения на източника, а не като независимо валидиране. Google DeepMind наистина предоставя полезни ограничения и казва, че е създал Консултативен комитет за жестомимичен език с изкуствен интелект с организации на глухи и експерти по темата, плюс съвместен доклад за въздействието за изданието. Този процес на участие е значим сигнал, но все още не казва на обществеността как производителността варира в зависимост от подписващия, диалект, осветление, ъгъл на камерата, скорост на подписване или контекст на разговор в планираното внедряване.

Какво да гледате след това

Следващото доказателство трябва да покаже дали SL2T остава полезен извън контролираните примери в стартовия пост. Watch the actual device rollout, community feedback, error recovery, privacy documentation, and independent testing across signers and sign languages. The release is a significant product step, but it is not evidence that sign-language translation has reached parity with human interpretation or spoken-language dictation.

Първо вижте кои устройства и езици получават поддръжка и кога. Google DeepMind казва, че Pixel 11 е отправната точка, с още устройства и езици, но не дава публичен график или пълен списък за съвместимост в съобщението. Смисленото внедряване трябва да разкрие регионалната наличност, поддържаните условия на камерата, покритието на езика и диалекта, изискванията за обработка на устройствата и дали същото поведение на поверителност се поддържа в различните поколения хардуер. Тези подробности ще определят дали изданието е широко полезна функция за достъпност или тясна витрина, прикрепена към една телефонна линия.

Второ, потърсете оценка, която измерва реалната комуникация, а не само утвърден показател. Полезното отчитане би разделило грешките в думите и значенията по подпис, диалект, владеене, ръчност, използване с една ръка, скорост, осветление, кадриране и движение на фона. Тя трябва да включва латентност, неподписани фалшиви положителни резултати, корекции, пропуснати завои и времето, необходимо за възстановяване от грешка. Резултатът FLEURS-ASL е конкретна отправна точка, но собствените примери на източника показват защо редки знаци, правопис с пръсти, класификатори и време, зависимо от контекста, се нуждаят от отделно внимание.

Трето, наблюдавайте границата на поверителност и безопасност, тъй като функцията се свързва с други Google продукти. Поток от знак към текст, който може да търси, да прави чернови или да иска от Gemini да изпълни задачи, се нуждае от ясно потвърждение преди външно действие, особено когато преводът е несигурен. Потребителите трябва да могат да видят какво е заснето, да го редактират преди изпращане, да изтрият свързаната история и да разберат дали координатите или извлеченият текст са запазени. Публичното издание обяснява забележителния подход, но не разрешава въпросите за продукта около разрешенията, диагностиката, обработката в облака или контролите на данните на ниво акаунт.

И накрая, потърсете съвместния доклад за въздействието, независими репродукции и обратна връзка от общностите на глухите, тъй като системата достига до повече хора. Google DeepMind казва, че неговият консултативен комитет ще повлияе на приоритетите за разработка и че планира да продължи подхода за големи издания. Най-силното проследяване би направило тези ангажименти измерими: публикувайте ограничения по език и настройка, покажете как докладваните грешки променят пътната карта и ще позволи на потребителите да разграничат експериментална помощ за превод от надежден заместител на преводач. Докато не пристигнат тези доказателства, SL2T се разбира най-добре като обещаващо първо потребителско внедряване със значима, открито заявена несигурност.

Свързани ръководства и викторини