À suivreGuide suivant
Extraction de modèles et attaques de vol
Société
GUIDE DE LA SOCIÉTÉ
Réduire le modèle
L'effondrement du modèle décrit la dégradation qui peut se produire lorsque des modèles successifs apprennent de manière récursive à partir des données générées et perdent des informations sur la distribution d'origine.
Écoutez ce guideNarré par l'IA · ~2 min
Sur cette page2 minutes de lecture
Aperçu
Il s’agit d’un résultat de recherche dans des conditions de données et de formation particulières, et non d’une preuve que toute utilisation de données synthétiques échouera.
Points clés à retenir
- Énoncez les conditions d’entraînement récursif.
- Préserver la provenance et l’évaluation indépendante.
- Inspecter les cas rares et la diversité.
Plongée profonde
Un générateur se rapproche des modèles dans sa distribution de formation. Si un modèle ultérieur est formé principalement sur des échantillons issus de cette approximation, des erreurs et des cas rares manquants peuvent se propager. Répéter le processus peut affiner ce que représentent les modèles. L’étude Nature 2024 étudie ce comportement dans plusieurs familles de modèles. La configuration de la formation est importante. Replacing original data with generated outputs is different from retaining independently collected data while adding selected synthetic examples. Le filtrage, l’échantillonnage, les objectifs et l’évaluation peuvent affecter les résultats. Avoid treating all synthetic-data strategies as one experiment. Enregistrez la provenance et le processus de génération du matériel de formation. Conservez un ensemble d'évaluation indépendant qui n'est pas régénéré par le modèle en cours d'évaluation. Mesurez les catégories rares et la diversité ainsi que la précision des cas courants, car la perte de couverture peut être masquée par une moyenne. When testing synthetic augmentation, compare a real-data baseline, the proposed mixture, and relevant alternatives under the same budget. Signalez quelles conditions se sont améliorées ou dégradées. Une conclusion utile décrit la configuration testée et l’incertitude plutôt que de prédire le sort inévitable de tous les systèmes d’IA.
04Exemple travaillé
Track a disappearing category
Construct a toy dataset with 90 examples of a common pattern and 10 of a rare pattern.
Supposons qu'un générateur ne produise que deux exemples de modèles rares dans ses 100 prochains échantillons. La formation uniquement sur ces résultats modifie l’équilibre représenté.
Mesurez les performances des modèles rares par rapport aux données originales retenues avant de répéter le cycle.
Ce que ça montre
Ce scénario inventé illustre un mécanisme possible, et non le résultat quantitatif de l’étude citée.
Mise en œuvre dans le monde réel
Vérifiez si les catégories rares disparaissent au cours des cycles répétés de génération de données.
Comparez l'augmentation synthétique avec une référence conservant les données d'origine.
Le mettre en pratique
Pourquoi c'est important
- Risques et sécurité. Les dommages catastrophiques et quotidiens causés par l’IA dépendent tous deux de la personne qui comprend les risques et qui peut agir.
- Décisions plus claires. Les connaissances du public et des professionnels déterminent si une politique de sécurité forte est politiquement possible.
- Passer à travers le battage médiatique. Des explications claires réduisent la capture par le battage médiatique, les relations publiques en laboratoire et le théâtre d'éthique vague.
Attention à
- Traiter le risque existentiel comme de la science-fiction alors que les capacités s’accroissent.
- Confondre sécurité des produits de surface et alignement sous haute autonomie.
- Laisser le public non anglophone et non expert avec uniquement des sources de mauvaise qualité.
Prochaines étapes
- Séparez les dommages causés aux produits, leur mauvaise utilisation et les risques de perte de contrôle/désalignement.
- Demandez quelles preuves pourraient changer votre point de vue sur les délais et la gravité.
- Préférez les sources primaires et les évaluations concrètes aux allégations marketing.
- Identifiez une voie d’action : carrière, politique, financement ou compétences – et pas seulement la sensibilisation.
Sources et lectures complémentaires
- Shumailov and colleagues, NatureLes modèles d'IA s'effondrent lorsqu'ils sont entraînés sur des données générées de manière récursive
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Model Collapse quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
L’effondrement du modèle signifie-t-il que les données synthétiques sont toujours nuisibles ?
Les résultats dépendent du mélange de données, du processus de génération et de filtrage, de la configuration de la formation et de l'évaluation. Testez directement l’utilisation proposée.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet