Connexionisme

Le connexionisme est une approche dans les domaines de la science de cognitive, qui espère expliquer phénomènes mentaux à l’aide des réseaux de neurones artificiels (ANN).

Le principe connexionniste central est que les phénomènes mentaux peuvent être décrits par des réseaux interconnectés d'unités simples et souvent uniformes. La forme des connexions et des unités peut varier d’un modèle à l’autre. Par exemple, des unités du réseau pourraient représenter des neurones et les connexions pourraient représenter des synapses, comme dans le cerveau humain.

Principes de base du connexionnisme

Activer la propagation

Dans la plupart des modèles connexionnistes, les réseaux évoluent dans le temps. L’activation est un aspect étroitement lié et très commun des modèles connexionnistes. À tout moment, une unité du réseau a une activation, qui est une valeur numérique destinée à représenter un aspect de l'unité. Par exemple, si les unités du modèle sont des neurones, l'activation pourrait représenter la probabilité que le neurone génère un pic ial puissant . L'activation se propage généralement à toutes les autres unités qui lui sont connectées. La diffusion de l'activation est toujours une caractéristique des modèles de réseau neuronal, et elle est très courante dans les modèles connexionnistes utilisés par les psychologues cognitifs.

Réseaux de neurones

Les réseaux de neurones sont de loin le modèle connexionniste le plus couramment utilisé aujourd'hui. Bien qu'il existe une grande variété de modèles de réseaux de neurones, ils suivent presque toujours deux principes fondamentaux :
Tout état mental peut être décrit comme un vecteur à (N) dimensions doté de valeurs d’activation numériques sur des unités neuronales dans un réseau.

La mémoire est créée en modifiant la force des connexions entre les unités neuronales. Les forces de connexion, ou "poids", sont généralement représentées sous la forme d'une matrice N × N.

La plupart des modèles de réseaux de neurones dépendent de trois éléments :

1.    Interprétation des unités

Les unités peuvent être interprétées comme des neurones ou des groupes de neurones.

2.    Définition de l'activation

L'activation peut être définie de différentes manières. Par exemple, dans une machine de Boltzmann, l'activation est interprétée comme la probabilité de générer un pic de potentiel d'action et est déterminée via une fonction logistique sur la somme des entrées d'une unité.

3.    Algorithme d'apprentissage

Différents réseaux modifient différemment leurs connexions. En général, tout changement défini mathématiquement dans le poids des connexions dans le temps est appelé "algorithme d'apprentissage".

Les connexionnistes s'accordent à dire que les réseaux de neurones récurrents (les réseaux dirigés dans lesquels les connexions du réseau peuvent former un cycle dirigé) constituent un meilleur modèle du cerveau que les réseaux neuronaux à action directe (réseaux dirigés sans cycle, appelés DAG). De nombreux modèles connexionnistes récurrents intègrent également des systèmes dynamiques. De nombreux chercheurs, tels que le connexionniste Pau Smolensky, ont fait valoir que les modèles connexionnistes évolueraient vers des approches systémiques entièrement continues, de grande dimension, non linéaires et dynamiques.

Réalisme biologique

Le travail connexionniste en général n’a pas besoin d’être biologiquement réaliste et souffre par conséquent d’un manque de vraisemblance neuroscientifique.

Apprentissage

Les poids dans un réseau de neurones sont ajustés en fonction de certaines règles ou algorithmes d'apprentissage, tels que l'apprentissage de Hebbian . Ainsi, les connexionnistes ont créé de nombreuses procédures d’apprentissage sophistiquées pour les réseaux de neurones. Apprendre implique toujours de modifier les poids de connexion. En général, il s’agit de formules mathématiques permettant de déterminer l’évolution des poids lorsqu’un ensemble de données constitué de vecteurs d’activation pour un sous-ensemble des unités neuronales. Plusieurs études ont été consacrées à la conception de méthodes d’enseignement et d’apprentissage basées sur le connexisme.

En formalisant ainsi l'apprentissage, les connexionnistes disposent de nombreux outils. Une méthode très courante dans les méthodes d’apprentissage connexionniste consiste à incorporer la descente de gradient sur une surface d’erreur dans un espace défini par la matrice de pondération. Tout apprentissage en descente de gradient dans les modèles connexionnistes implique de modifier chaque poids par la dérivée partielle de la surface d'erreur par rapport au poids. La rétropropagation (BP), créée pour la première fois dans les années 1980, est probablement l’algorithme de descente de gradient connexionniste le plus connu à l’heure actuelle.