Que s'est-il passé
Breitbart rapporte qu'une femme identifiée comme Jane Doe a poursuivi xAI d'Elon Musk, qui, selon le rapport, fait désormais partie de SpaceX, alléguant que Grok avait été formée sur du matériel d'abus sexuel sur des enfants la représentant. Le rapport indique que le procès concerne des images abusives créées lorsque Doe était un enfant d'âge préscolaire et suivies plus tard à l'aide de hachages d'images.
Breitbart rapporte que Jane Doe a déposé une proposition de recours collectif contre xAI d'Elon Musk, alléguant que la société a formé son chatbot Grok sur du matériel d'abus sexuel sur des enfants la représentant. Selon le rapport, les abus sous-jacents se sont produits lorsque Doe était un enfant d'âge préscolaire au début des années 2000, lorsque des hommes adultes produisaient des images qui ont ensuite été diffusées en ligne. Le rapport indique que les images ont été hachées par le Centre national pour les enfants disparus et exploités et le Centre canadien de protection de l'enfance, permettant aux services d'identifier les copies lorsqu'elles réapparaissent.
Selon le récit de Breitbart sur la plainte, le Centre canadien de protection de l'enfance a déclaré à Doe que du CSAM généré par l'IA la représentant était apparu sur xAI. La plainte, citée et résumée par Breitbart, allègue que les valeurs de hachage connues associées aux images représentant Doe faisaient partie d'un ensemble de données utilisé par xAI. Le rapport indique également que la plainte relie la conduite présumée à des discussions en ligne sur la création de CSAM générés par l'IA représentant des survivants connus. Il s’agit d’allégations dans le cadre d’un litige et non de conclusions établies par un tribunal.
Breitbart rapporte que la plainte allègue que xAI stocke les images générées par Grok et les réutilise pour entraîner ou entraîner davantage le modèle. L'article indique également que les conditions d'utilisation de Grok traitent par défaut les publications publiques sur X et les propres sorties de Grok comme des données de formation. La plainte fait valoir que cela pourrait permettre à du matériel abusif publié publiquement ou produit par le système d'entrer dans un pipeline de formation et d'influencer les résultats ultérieurs. La source ne fournit pas de preuves techniques vérifiées de manière indépendante montrant exactement comment une image particulière a affecté Grok.
Le rapport indique que xAI filtre le matériel violent des données de formation, mais que ses termes n'excluent pas spécifiquement le CSAM, les images intimes non consensuelles ou tout autre matériel sexuel. Le procès de Doe accuse xAI d’avoir violé les lois fédérales sur la pédopornographie et la loi Masha. Breitbart rapporte que la poursuite demande des dommages et intérêts aux victimes qui peuvent démontrer que Grok a généré du CSAM sur la base de leurs vraies photos, ainsi que des ordonnances exigeant que xAI détruise le CSAM stocké ou généré par la formation et empêche la génération future. La source ne précise pas qu'un tribunal ait accédé à ces demandes.
Détails de la source: breitbart.com ↗
Pourquoi c'est important
Si les allégations sont fondées, l’affaire pourrait tester la manière dont les sociétés d’IA traitent les abus connus dans les données de formation, les résultats générés et le contenu téléchargé par les utilisateurs. Cela pourrait également clarifier les obligations légales qui s’appliquent lorsqu’un modèle reproduit ou transforme du matériel lié à un survivant identifié.
Les allégations concernent un problème central en matière de sécurité de l’IA générative : un modèle peut être affecté par du matériel nuisible avant qu’une entreprise ne découvre ou ne supprime les fichiers sous-jacents. Breitbart rapporte que la plainte soutient que la suppression d'une image d'une source publique ne peut pas supprimer son influence sur un modèle déjà formé. Ce point technique est présenté comme une revendication dans le dossier ; la source n'établit pas si Grok a conservé, mémorisé ou reproduit une image particulière via le mécanisme décrit.
Les CSAM connus sont généralement suivis avec des hachages afin que les plateformes puissent détecter les copies sans distribuer à plusieurs reprises le matériel pour examen. Le rapport indique que la plainte allègue que des images avec des valeurs de hachage connues de longue date ont été utilisées dans l'ensemble de données de xAI. Si cela était vérifié, cela soulèverait des questions quant à savoir si les systèmes de détection existants ont été appliqués lors de la collecte de données, s'il existait des exceptions ou des lacunes dans le pipeline de données et si les résultats générés ont été analysés et supprimés séparément.
Cette affaire pourrait avoir des implications au-delà de xAI, car de nombreux systèmes génératifs combinent des données Web à grande échelle, du contenu utilisateur et du matériel généré par un modèle. Breitbart cite une étude antérieure impliquant l'index d'images LAION qui a identifié plus de 3 200 images suspectées de maltraitance d'enfants dans une base de données d'IA. Cet exemple précédent est un contexte rapporté par Breitbart, et non une preuve que Grok a utilisé le même matériel ou que toutes les images suspectes ont été confirmées comme étant CSAM.
Les réclamations juridiques mettent également les conditions d’utilisation des données sous surveillance. Si les publications publiques et les résultats du modèle sont utilisés par défaut pour la formation, les utilisateurs et les survivants peuvent avoir un contrôle pratique limité sur la manière dont le matériel nuisible est copié, conservé ou réutilisé. La source n'établit pas comment xAI interprète ses termes dans cette affaire, si elle les a modifiés, quelles garanties elle applique au CSAM, ou si les images présumées ont été ingérées délibérément, accidentellement ou via un ensemble de données tiers.
Mécanisme interactif : comment cela fonctionne réellement
Explorez de manière interactive la technologie sous-jacente à ce développement.
crm_get_transaction(id='4092').Why can ethical evaluation not be reduced to one model score?
Que regarder ensuite
Les questions clés sont de savoir si les allégations techniques de la plainte peuvent être étayées, si xAI répond ou conteste les allégations, et si le tribunal ordonne la conservation, la suppression, le filtrage ou d'autres modifications de Grok. Cette affaire peut également attirer l’attention sur les termes d’utilisation des données par défaut pour les publications publiques et les résultats du modèle.
Une réponse de xAI sera importante, notamment si l'entreprise nie que les images soient entrées dans les données d'entraînement de Grok, conteste la relation présumée entre les sorties de Grok et les images réelles de Doe, ou décrit toute enquête et correction. Le rapport de Breitbart n’inclut pas de réponse de xAI, et aucun audit technique indépendant n’est cité pour vérifier le récit de la plainte.
Les dossiers et décisions judiciaires devraient clarifier les preuves que le plaignant doit fournir pour relier le matériel généré aux images d’un survivant spécifique et pour établir la connaissance ou la conduite de xAI. La source affirme que la poursuite est proposée comme un recours collectif, mais elle ne précise pas si le groupe sera certifié, si les réclamations survivront aux premières requêtes ou si un tribunal a tiré des conclusions sur la responsabilité.
Les garanties pratiques à surveiller incluent la correspondance de hachage lors de l'ingestion de l'ensemble de données, le blocage des invites et des sorties impliquant de vrais enfants ou des survivants connus, les politiques de conservation et de suppression des images générées et les contrôles sur l'utilisation des sorties du modèle comme données de formation. Le rapport ne précise pas lesquelles de ces mesures xAI sont actuellement en vigueur ni si certaines ont été modifiées depuis le dépôt.
Les mesures correctives demandées pourraient également affecter les politiques plus larges de Grok en matière de contenu sexuel. Breitbart rapporte que la plainte vise des restrictions qui pourraient couvrir les images intimes non consensuelles et d'autres productions sexualisées, y compris le matériel que l'article associe aux capacités NSFW promues par Grok. On ne sait toujours pas si un tribunal imposerait des restrictions aussi larges, si xAI les adopterait volontairement ou comment toute ordonnance serait appliquée à travers le contenu généré et les systèmes de formation.