La rétropropagation (ou BP, pour Backward Propagation) est une technique fondamentale utilisée dans la formation de modèles pour les embeddings de graphes.

L'algorithme BP comprend deux étapes principales :

• Propagation avant : Les données d'entrée sont introduites dans la couche d'entrée d'un réseau de neurones ou modèle. Elles passent ensuite par une ou plusieurs couches cachées avant de générer une sortie à partir de la couche de sortie.
• Rétropropagation : La sortie générée est comparée à la valeur réelle ou attendue. Ensuite, l'erreur est transmise de la couche de sortie à travers les couches cachées jusqu'à la couche d'entrée. Durant ce processus, les poids du modèle sont ajustés à l'aide de la technique de descente de gradient.

Les ajustements itératifs des poids constituent le processus d'apprentissage du réseau de neurones. Nous allons expliquer davantage avec un exemple concret.

Préparations

Réseau de Neurones

Les réseaux de neurones sont généralement composés de plusieurs composants essentiels : une couche d'entrée, une ou plusieurs couches cachées, et une couche de sortie. Voici un exemple simple d'architecture de réseau de neurones :

Dans cette illustration, $x$ est le vecteur d'entrée contenant 3 caractéristiques, $y$ est la sortie. Nous avons deux neurones $h_1$ et $h_2$ dans la couche cachée. La fonction d'activation sigmoïde est appliquée dans la couche de sortie.

De plus, les connexions entre les couches sont caractérisées par les poids : $v_{11}$ ~ $v_{32}$ sont les poids entre la couche d'entrée et la couche cachée, $w_1$ et $w_2$ sont les poids entre la couche cachée et la couche de sortie. Ces poids sont essentiels dans les calculs effectués au sein du réseau de neurones.

Fonction d'Activation

Les fonctions d'activation permettent au réseau de neurones d'effectuer une modélisation non linéaire. Sans fonctions d'activation, le modèle ne peut exprimer que des mappings linéaires, limitant ainsi leur capacité. Une large gamme de fonctions d'activation existe, chacune servant un objectif unique. La fonction sigmoïde utilisée dans ce contexte est décrite par la formule et le graphique suivants :

Poids Initiaux

Les poids sont initialisés avec des valeurs aléatoires. Supposons que les poids initiaux soient les suivants :

Échantillons d'Entraînement

Considérons trois ensembles d'échantillons d'entraînement comme indiqué ci-dessous, où l'exposant indique l'ordre de l'échantillon :

• Entrées : $x^{(1)}=(2\mathrm{, }3\mathrm{, }1)$, $x^{(2)}=(1\mathrm{, }0\mathrm{, }2)$, $x^{(3)}=(3\mathrm{, }1\mathrm{, }1)$
• Sorties : $t^{(1)}=0.64$, $t^{(2)}=0.52$, $t^{(3)}=0.36$

L'objectif principal du processus de formation est d'ajuster les paramètres du modèle (poids) afin que la sortie prédite/calculée ($y$) s'aligne étroitement avec la sortie réelle ($t$) lorsqu'on lui fournit l'entrée ($x$).

Propagation Avant

Couche d'Entrée → Couche Cachée

Les neurones $h_1$ et $h_2$ sont calculés par :

Couche Cachée → Couche de Sortie

La sortie $y$ est calculée par :

Voici le calcul des 3 échantillons :

Apparemment, les trois sorties calculées ($y$) sont très différentes de celles attendues ($t$).

Rétropropagation

Fonction de Perte

Une fonction de perte est utilisée pour quantifier l'erreur ou la disparité entre les sorties du modèle et les sorties attendues. Elle est aussi appelée fonction objectif ou fonction de coût. Utilisons ici l'erreur quadratique moyenne (MSE) comme fonction de perte $E$ :

où $m$ est le nombre d'échantillons. Calculez l'erreur de cette série de propagation avant ainsi :

Une valeur plus petite de la fonction de perte correspond à une plus grande précision du modèle. L'objectif fondamental de la formation du modèle est de minimiser la valeur de la fonction de perte le plus possible.

Considérez les entrées et sorties comme des constantes, tout en s'intéressant aux poids en tant que variables au sein de la fonction de perte. L'objectif est donc d'ajuster les poids de manière à obtenir la plus faible valeur de la fonction de perte - c'est là que la technique de la descente de gradient entre en jeu.

Dans cet exemple, la descente de gradient par lot (BGD) est utilisée, c'est-à-dire que tous les échantillons sont impliqués dans le calcul du gradient. Fixez le taux d'apprentissage $\eta =0.5$.

Couche de Sortie → Couche Cachée

Ajustez les poids $w_1$ et $w_2$ respectivement.

Calculez la dérivée partielle de $E$ par rapport à $w_1$ avec la règle de chaîne:

où,

Calculez avec les valeurs :

Alors, $\frac{\partial E}{\partial w_1}=0.294\times 0.152\times 1.5=0.067$

Étant donné que tous les échantillons sont impliqués dans le calcul de la dérivée partielle, lors du calcul de $\frac{\partial y}{\partial s}$ et $\frac{\partial s}{\partial w_1}$, nous prenons la somme de ces dérivées sur tous les échantillons et obtenons ensuite la moyenne.

Donc, $w_1$ est mis à jour de $w_1=w_1-\eta \frac{\partial E}{\partial w_1}=0.8-0.5\times 0.067=0.766$.

Le poids $w_2$ peut être ajusté de manière similaire en calculant la dérivée partielle de $E$ par rapport à $w_2$. Dans cette ronde, $w_2$ est mis à jour de $0.2$ à $0.167$.

Couche Cachée → Couche d'Entrée

Ajustez les poids $v_{11}$ ~ $v_{32}$ respectivement.

Calculez la dérivée partielle de $E$ par rapport à $v_{11}$ avec la règle de chaîne:

Nous avons déjà calculé $\frac{\partial E}{\partial y}$ et $\frac{\partial y}{\partial s}$, ci-dessous sont les deux suivants :

Calculez avec les valeurs :

Alors, $\frac{\partial E}{\partial v_{11}}=0.294\times 0.152\times 0.8\times 2=0.072$.

Donc, $v_{11}$ est mis à jour à $v_{11}=v_{11}-\eta \frac{\partial E}{\partial v_{11}}=0.15-0.5\times 0.072=0.114$.

Les poids restants peuvent être ajustés de manière similaire en calculant la dérivée partielle de $E$ par rapport à chacun d'eux. Dans cette ronde, ils sont mis à jour comme suit :

• $v_{12}$ est mis à jour de $0.2$ à $0.191$
• $v_{21}$ est mis à jour de $0.6$ à $0.576$
• $v_{22}$ est mis à jour de $0.3$ à $0.294$
• $v_{31}$ est mis à jour de $0.3$ à $0.282$
• $v_{32}$ est mis à jour de $0.5$ à $0.496$

Itérations d'Entraînement

Appliquez les poids ajustés au modèle et procédez à la propagation avant en utilisant les mêmes trois échantillons. Dans cette itération, l'erreur résultante $E$ est réduite à $0.192$.

L'algorithme de rétropropagation effectue de manière itérative les étapes de propagation avant et de rétropropagation pour entraîner le modèle. Ce processus continue jusqu'à ce que le nombre d'entraînements désigné ou la limite de temps soit atteinte, ou lorsque l'erreur diminue jusqu'à un seuil prédéfini.