Benchmark indique que les meilleurs modèles multimodaux obtiennent des résultats inférieurs à 10 % à la lecture de mots à partir des sons du stylo et des mouvements de la main

Que s'est-il passé

Les chercheurs ont publié un article décrivant The Unwriting Benchmark, qui demande à des modèles multimodaux d'identifier les mots en cours d'écriture en utilisant uniquement le son d'un stylo et la vidéo d'une main en mouvement, sans encre visible. Le résumé rapporte une précision des lettres ordonnées humaines supérieure à 80 % et des modèles principaux, notamment GPT-4o et Gemini 2.5-Pro, inférieurs à 10 %, et indique que la combinaison des deux modalités dégrade fréquemment les performances du modèle plutôt que de les améliorer.

Trois chercheurs – Garima Arya Yadav, Nilay Yilmaz et Yezhou Yang – ont publié un article présentant ce qu'ils appellent The Unwriting Benchmark, un test visant à déterminer si les modèles d'apprentissage automatique multimodaux peuvent déterminer ce qu'une personne écrit sans jamais voir l'écriture elle-même. Le document est répertorié sur arXiv sous le numéro 2608.14558, classé sous intelligence artificielle avec une liste croisée avec la vision par ordinateur et la reconnaissance de formes. Les auteurs définissent la tâche principale comme « l'inférence acousto-cinématique de mots » : un modèle reçoit uniquement l'audio des rayures du stylo et la vidéo des mouvements de la main, sans trace d'encre visible, et doit déchiffrer le mot en cours d'écriture. Le résumé indique que la tâche s'étend sur trois styles d'écriture différents. La liste arXiv donne une date de soumission du 15 mai 2026 et comporte un commentaire indiquant que le travail doit être publié dans CVPR Findings 2026.

Le résultat global est une lacune. Selon le résumé, les participants humains atteignent une précision élevée des lettres ordonnées – les auteurs disent plus de 80 % – tandis que les principaux modèles multimodaux ne dépassent pas 10 %. Les deux modèles nommés dans le résumé sont GPT-4o et Gemini 2.5-Pro. L'article présente cela non pas comme un échec de reconnaissance étroit, mais comme une preuve des limites du raisonnement causal multimodal et de ce que les auteurs appellent la micro-cinématique de l'écriture : les mouvements fins et rapides de la main et du stylo qui contiennent des informations sur la lettre en cours de formation.

Le deuxième résultat rapporté est moins attendu. Les auteurs décrivent un « effet de fusion paradoxal », dans lequel le fait de fournir à la fois de l'audio et de la vidéo à un modèle dégrade souvent ses performances par rapport à la fourniture d'une seule modalité. Ils lisent cela comme une rupture dans la capacité des modèles à synthétiser des signaux perceptuels complémentaires. Le résumé ne rend pas compte des scores par modalité, de sorte que l'ampleur de cette dégradation, et si elle est apparue pour chaque modèle testé, ne sont pas établies par le matériel examiné ici.

Ce récit est tiré uniquement de la page de résumé d'arXiv ; le document complet, ses annexes et tous les documents publiés n'ont pas été examinés. Plusieurs détails qui auraient de l’importance pour juger du résultat n’y sont pas indiqués. Le résumé ne donne pas le nombre de mots ou de clips dans l'ensemble de données, le nombre de participants humains ou les conditions dans lesquelles ils ont été testés, la langue ou l'écriture impliquée, la définition exacte de l'exactitude des lettres ordonnées, la manière dont les modèles ont été sollicités, la manière dont la vidéo et l'audio ont été échantillonnés et transmis, ou si les données et le code seront publiés. L'article est également répertorié comme étant à paraître dans le cadre des résultats d'une conférence plutôt que comme une publication achevée évaluée par des pairs, et aucune réplication indépendante n'est connue à ce stade.

Détails de la source: arxiv.org ↗

Pourquoi c'est important

La plupart des évaluations multimodales testent la reconnaissance de ce qui est directement visible ou audible. Celui-ci teste l'inférence de quelque chose qui n'a jamais été montré et rapporte que l'ajout d'une deuxième modalité peut nuire – un résultat qui va à l'encontre de l'hypothèse courante selon laquelle la fusion de l'audio et de la vidéo est additive. Si cela tient, cela indique une faiblesse dans la manière dont les systèmes actuels combinent les canaux de perception, et pas seulement dans le cadre d’une tâche difficile.

Les benchmarks multimodaux les plus largement utilisés testent si un système peut nommer ce qui est présent dans une image, une vidéo ou un clip audio. Celui-ci supprime délibérément la réponse de l’entrée. Le mot n'est jamais montré ; il doit être reconstruit à partir du processus physique qui l'a produit. Cette conception cible une capacité – déduire une cause invisible à partir de preuves dynamiques – qui est plus proche de la façon dont les gens lisent une scène que de la correspondance de modèles sur un contenu statique, et c'est une capacité que les suites d'évaluation actuelles n'isolent en grande partie pas.

Le résultat de la fusion est sans doute le plus conséquent des deux affirmations. Une grande partie de l'ingénierie produit suppose que donner à un modèle davantage de canaux de perception ne peut qu'aider : les assistants de réunion combinent la parole avec la vidéo sur écran, les outils d'accessibilité combinent l'entrée de la caméra et du microphone, et les piles robotiques fusionnent plusieurs capteurs en partant du principe que la redondance est protectrice. Si une deuxième modalité peut aggraver de manière fiable un modèle sur une tâche où les deux canaux transportent un signal réel, cette hypothèse doit être testée plutôt que fiable. L'article n'établit pas que cela se produit généralement — il le rapporte sur une tâche, avec un petit ensemble de modèles nommés — mais il s'agit d'un cas concret où davantage de données ont produit une pire réponse.

La tâche se situe également à proximité de deux domaines pratiques. L’un est l’accessibilité et la numérisation : capturer l’écriture manuscrite à partir du son et du mouvement, sans stylet intelligent ni scanner, serait utile pour la capture de notes et pour les personnes qui écrivent sur du papier ordinaire. L'autre est la vie privée. Déduire un contenu écrit à partir de signaux acoustiques et visuels accidentels est, en principe, un problème de canal secondaire, et les attaques par canal secondaire sur les claviers à partir de l'audio sont étudiées depuis des années. D’après les preuves présentées dans ce résumé, les modèles à usage général actuels sont loin d’être capables de le faire – moins de 10 % est presque inutilisable – alors que les humains le pourraient. Il s’agit là d’une découverte sur les capacités des modèles actuels, et non d’une garantie durable.

Les limites vont dans les deux sens et méritent d’être clairement énoncées. Des scores très faibles sur un benchmark nouvellement introduit sont courants et, à eux seuls, ils ne font pas la distinction entre un véritable déficit de raisonnement, une inadéquation entre le format de la tâche et la manière dont ces modèles ingèrent la vidéo et l'audio, et un harnais d'évaluation qui n'a pas été adapté à la tâche. Les deux modèles cités sont des systèmes commerciaux à usage général, et non des systèmes conçus ou réglés avec précision pour une analyse fine du mouvement, et des modèles plus puissants ou plus récents n'ont peut-être pas été testés. La ligne de base humaine est rapportée sous la forme d’un nombre unique sans conditions décrites. Et un benchmark rédigé par la même équipe qui rapporte l’écart n’a encore été testé par personne d’autre.

Que regarder ensuite

Si l'ensemble de données, le code et le protocole de référence humain sont publiés et reproduits indépendamment ; si des modèles plus récents ou des incitations différentes comblent l'écart ; et si la dégradation de fusion signalée apparaît sur d'autres tâches audio-vidéo ou s'avère spécifique à ce benchmark.

La première chose à surveiller est la libération et la reproductibilité. Le fait que les auteurs publient l'ensemble de données, le code d'évaluation et le protocole exact d'étude sur l'homme détermineront la rapidité avec laquelle les chiffres principaux pourront être vérifiés. L'entrée arXiv examinée ici n'indique pas de code ou de lien de données. Un benchmark qui fait état d’un écart homme-machine de 70 points invite à une réplication indépendante, et la valeur de l’affirmation dépend fortement de la capacité d’autres groupes à reproduire à la fois les scores du modèle et la base de référence humaine.

La seconde est de savoir si l’écart survit au contact avec de meilleures configurations. Les scores des nouvelles tâches multimodales évoluent souvent considérablement avec des changements qui n'ont rien à voir avec le raisonnement : fréquence d'images, échantillonnage et prétraitement audio, nombre d'images réellement vues par un modèle, structure des invites ou quelques ajustements spécifiques à une tâche. Si une petite modification technique élève les modèles bien au-dessus de 10 %, le résultat se lit principalement comme un problème de pipeline d’entrée. Si un ajustement minutieux les laisse près du plancher, l’affirmation plus forte des auteurs sur le raisonnement causal intermodal devient plus difficile à rejeter.

Troisièmement, l’effet de fusion. La question intéressante est de savoir si la dégradation liée à l’ajout d’une modalité apparaît sur d’autres tâches audio-vidéo, ou si elle est spécifique à celle-ci. Si d’autres groupes trouvent le même schéma ailleurs, cela indiquerait quelque chose de structurel dans la façon dont les modèles actuels pondèrent et combinent les canaux plutôt qu’une bizarrerie de rayures de stylo et de mouvements de la main. Les ablations par modalité dans l'article complet, et les tentatives de les reproduire, sont le lieu qui s'installe.

Enfin, surveillez l’adoption. Les références sont importantes lorsque d'autres laboratoires rapportent des scores à leur sujet et lorsque les chiffres évoluent au fil des générations de modèles successives. Que celui-ci apparaisse dans le suivi des résultats du CVPR 2026 comme indiqué, que les laboratoires frontaliers l'incluent dans les rapports d'évaluation et que les chercheurs en matière de confidentialité et de sécurité reprennent le cadrage des canaux secondaires seront tous visibles au cours des prochains mois. Il convient également de noter qu’un benchmark aussi éloigné de la saturation donne un signal clair pendant un certain temps – jusqu’à ce que ce ne soit plus le cas, auquel cas la question se pose de savoir si les modèles ont appris la capacité ou l’ensemble de données.

Guides et quiz associés