À suivreGuide suivant
Réseaux de neurones graphiques
Fondamentaux
GUIDE des fondamentaux
Réseaux de neurones récurrents
Un réseau neuronal récurrent met à jour un état interne lors du traitement d'une séquence.
Écoutez ce guideNarré par l'IA · ~3 min
Sur cette page3 minutes de lecture
Aperçu
Cet état peut représenter des informations provenant d'étapes antérieures, rendant les entrées ordonnées utiles sans garantir une conservation parfaite de l'historique complet.
Plongée profonde
Un RNN unidirectionnel conventionnel combine l'entrée actuelle avec son état caché précédent pour produire un nouvel état caché. Un calcul de sortie distinct peut produire une prédiction, de sorte que l'état récurrent ne doit pas automatiquement être appelé sortie de prédiction précédente. L’État est une représentation évolutive plutôt qu’une copie complète et sans perte de tout ce qu’on rencontre. Les données ordonnées telles que les séries temporelles de texte, de parole et de capteurs peuvent être modélisées via cette structure récurrente. La formation utilise généralement la rétropropagation dans le temps, qui considère les calculs récurrents répétés comme un graphique de dépendances déroulé. La multiplication des dérivées sur plusieurs étapes peut conduire à la disparition ou à l’explosion des gradients, rendant difficile l’apprentissage des dépendances à distance. Les architectures LSTM et GRU utilisent des portes pour réguler le flux d'informations. LSTM comprend un état de cellule et un contrôle d'entrée, d'oubli et de sortie ; les portes peuvent atténuer les difficultés mais ne garantissent pas une mémoire parfaite à long terme. Les architectures de transformateur basées sur l'attention offrent un calcul plus parallèle entre les positions de formation et des interactions directes entre les positions autorisées. La génération de transformateurs autorégressifs peut toujours se dérouler jeton par jeton, donc la formation parallèle ne doit pas être confondue avec la génération complètement parallèle. Une simple récurrence linéaire illustre les mises à jour d'état : h-nouveau est égal à la moitié de h-précédent plus x. Avec h-précédent deux et x trois, le nouvel état est quatre. Il s'agit d'une illustration déclarée, et non de la mise à jour non linéaire complète de chaque RNN. Un état d'inférence récurrente de taille fixe diffère également de la mémoire d'entraînement, dans laquelle le stockage ou le recalcul des informations sur plusieurs étapes entraîne des coûts supplémentaires.
Mise en œuvre dans le monde réel
Modélisation d'une séquence de jetons de texte avec un état caché évolutif.
Prévision d'une série temporelle de capteur définie à partir de lectures antérieures.
Etude des portes dans les modèles de séquence LSTM et GRU.
Comparaison de l'état d'inférence de streaming avec la mémoire utilisée pour entraîner une séquence déroulée.
L'avenir des réseaux de neurones récurrents
Les approches récurrentes, basées sur l'attention et basées sur l'espace d'état peuvent être comparées pour des charges de travail de séquence et de streaming particulières. Les mesures doivent identifier si elles concernent la formation ou l'inférence, la longueur de la séquence, la taille de l'état et la qualité des tâches. Un état d'inférence compact peut être utile tandis que sa représentation limitée peut perdre des informations. Une formation plus parallèle ou une conception fermée peuvent modifier les compromis, mais ni l'un ni l'autre n'établit une supériorité universelle ou une rétention parfaite du contexte. Évaluer le modèle et la mise en œuvre sur les intrants prévus.
Le mettre en pratique
Pourquoi c'est important
- Décisions plus claires. Il vous aide à séparer les affirmations techniques claires du langage marketing.
- Coût et budget. Vous pouvez poser de meilleures questions de mise en œuvre avant de dépenser de l'argent ou du temps.
- Équipe et flux de travail. Les équipes partageant une compréhension commune prennent de meilleures décisions en matière de produits, de politiques et d’apprentissage.
Attention à
- Différentes équipes peuvent utiliser le même terme différemment, alors définissez la portée dès le début.
- Les benchmarks peuvent paraître solides alors que les performances réelles sont inégales.
- Ignorer la qualité des données et les plans d’évaluation crée souvent des résultats fragiles.
Prochaines étapes
- Commencez par une définition en langage simple du résultat dont vous avez besoin.
- Choisissez une mesure de réussite et une condition d’échec avant de tester.
- Exécutez un petit pilote avec des données représentatives, pas un ensemble de démonstration raffiné.
- Documentez où les réseaux de neurones récurrents sont utiles et où les méthodes plus simples sont meilleures.
Continuez à explorer
Newsletter gratuite
Recevez le briefing quotidien sur l'IA
Trois histoires d'IA vérifiées chaque matin de la semaine, écrites dans un anglais simple. Gratuit pour toujours, sans publicité.
Un e-mail chaque jour de la semaine. Désabonnez-vous en un clic. Nous ne vendons ni ne partageons jamais votre adresse.
Testez-vous
Take the Recurrent Neural Networks quiz
Commentaires instantanés sur chaque réponse et un certificat partageable avec une pièce d'identité vérifiable une fois que vous avez réussi un cours.
Soutenez l’enseignement gratuit de l’IA. AI Understanding est une organisation à but non lucratif 501(c)(3) : pas de publicité, pas de paywall, jamais. Faire un don
Questions fréquemment posées
Qu’est-ce que les réseaux de neurones récurrents ?
Un réseau neuronal récurrent met à jour un état interne lors du traitement d'une séquence. Cet état peut représenter des informations provenant d'étapes antérieures, rendant les entrées ordonnées utiles sans garantir une conservation parfaite de l'historique complet.
Quelles informations récurrentes un RNN unidirectionnel conventionnel combine-t-il à chaque nouvelle entrée ?
L'état caché participe à la prochaine mise à jour de l'état ; elle est distincte d’une prédiction produite séparément.
Comment comprendre un état caché RNN ?
Un état caché peut contenir des informations utiles tout en perdant des détails ; ce n'est pas une mémoire permanente parfaite.
Quelle difficulté de formation peut résulter de la propagation des gradients RNN sur de nombreux pas de temps ?
Les produits dérivés longs peuvent devenir petits ou grands, compliquant l'apprentissage des dépendances distantes.
Comment les LSTM et les GRU s’améliorent-ils par rapport aux RNN simples ?
Les unités fermées comme LSTM et GRU apprennent à réguler le flux d'informations, laissant le contexte utile persister sur de longues séquences et réduisant le problème du gradient de disparition.
Pour quels types de données les RNN sont-ils spécialement conçus ?
Les RNN brillent sur les données ordonnées où le contexte et la séquence sont importants, comme les phrases, les flux audio et les mesures au fil du temps.
Continuez à apprendre
Guides associés
Plus de guides sélectionnés pour ce sujet