Réseaux de neurones

Un neurone artificiel de base combine les valeurs d'entrée à l'aide de poids, ajoute un biais et applique une fonction d'activation. Les pondérations contrôlent la contribution de chaque entrée. Le biais modifie le résultat. Une activation non linéaire permet aux couches de représenter des relations qu'une pile d'opérations purement linéaires ne pourrait pas représenter. Par exemple, l'activation ReLU renvoie zéro pour une entrée négative et laisse une entrée positive inchangée. Les réseaux peuvent utiliser différentes activations dans différentes couches. Une couche de sortie est choisie en fonction de la tâche : une prédiction numérique n'est pas interprétée de la même manière que les scores des catégories possibles. Pendant l'entraînement, une fonction de perte compare le résultat avec le résultat souhaité. La rétropropagation utilise la règle de chaîne pour calculer la manière dont les paramètres affectent la perte. Un optimiseur utilise ensuite ces informations pour mettre à jour les paramètres. La rétropropagation calcule les gradients ; cela ne garantit pas que le modèle trouvera la meilleure solution possible ou qu’il se généralisera bien. L’analogie avec le cerveau est limitée. Les neurones artificiels sont des abstractions mathématiques, et un réseau performant ne constitue pas la preuve d’un esprit semblable à celui des humains. Un réseau plus vaste peut modéliser des relations complexes, mais son fonctionnement peut également coûter plus cher, s'adapter à des modèles non pertinents ou échouer lorsque les conditions changent. Comparez-le avec une référence plus simple et testez sur des exemples en dehors des données de formation.