Approche discrète pour les opérateurs neuraux

Section 13.2 Approche discrète pour les opérateurs neuraux

Ici on va introduire l'approche qui consiste a discrétiser l'opérateur avant d'en approcher l'inverse. Et on introduira des exemples. On détaillera peu cette approche, car les aspects mathématiques sont moins développés dans la littérature.

La première approche est la suivante. On se donne un maillage \(M_h\) et on définit dessus non quantités \(\boldsymbol{u}_h\) ( la solution), \(\boldsymbol{u}_{0,h}\) la condition initiale, \(\boldsymbol{g}_h\) la condition aux bords et \(\boldsymbol{\mu}_h\) les paramètres qui peuvent vivre sur le maillage. Ensuite on va effectuer un certain nombre de simulations pour obtenir plusieurs ensembles de données. À partir de la il suffit d'entraîner un réseau de neurones \(G_{\theta}^{+}\) en minimisant une fonction de coût. On peut distinguer deux cas.

Définition 13.1. Discrete Neural Operator.

Un opérateur neural discret pour l'EDP (13.1) est un réseau de neurones \(G_{\theta}^{+}\) prenant les entrées globales sur un maillage et minimisant la fonction de coût

\begin{equation*} \mathcal{J}(\theta)= \int_{G_h}\int_{U_{0,h}}\int_{V_{\boldsymbol{\mu}_h} } \sum_{n=1}^{n_T}\parallel G_{\theta}^+(\boldsymbol{g}_h,\boldsymbol{u}_{h}^n,\boldsymbol{\mu}_h) - \boldsymbol{u}_h^{n+1}\parallel_2^2 dg dU_0\boldsymbol{\mu} \end{equation*}

avec \(G_h\) un espace de condition limite discrètisées, \(U_{0,h}\) un espace de condition initiale discretisées \(V_{\boldsymbol{\mu}_h}\) un espace de paramètre discrétisé et \(n_T\) un nombre d'itérations en temps.

On suppose donc ici qu'on a accès à des données temporelles (snapshots) issues d'un solveur classique pour l'EDP considérée comme précédemment avec les méthodes de réduction de dimension.

Définition 13.2. Discrete Physic Informed Neural Operator.

Un opérateur neural discret informé physiquement pour l'EDP (13.1) est un réseau de neurones \(G_{\theta}^{+}\) prenant les entrées globales sur un maillage et minimisant la fonction de coût

\begin{equation*} \mathcal{J}(\theta)= \omega_1\mathcal{J}_1(\theta)+\omega_2\mathcal{J}_2(\theta) \end{equation*}

avec

\begin{equation*} \mathcal{J}_1(\theta)= \int_{G_h}\int_{U_{0,h}}\int_{V_{\boldsymbol{\mu}_h} } \sum_{n=1}^{n_T}\parallel G_{\theta}^+(\boldsymbol{g}_h,\boldsymbol{u}_{h}^n,\boldsymbol{\mu}_h) - \boldsymbol{u}_h^{n+1}\parallel_2^2 dg dU_0 d\boldsymbol{\mu} \end{equation*}

\begin{equation*} \mathcal{J}_2(\theta)= \int_{G}\int_{U_0}\int_{\boldsymbol{\mu} } \sum_{n=1}^{n_T}\parallel G_{\boldsymbol{\mu},\Delta t}( G_{\theta}^+(\boldsymbol{g}_h,\boldsymbol{u}_{h}^n,\boldsymbol{\mu}_h),\boldsymbol{u}_{h}^n) \parallel_2^2 dg dU_0 d\boldsymbol{\mu} dx dt \end{equation*}

avec \(G_{\boldsymbol{\mu},\Delta t}(\boldsymbol{u}_{h}^*,\boldsymbol{u}_{h}^n)\) une discrétisation en temps (type Euler) de votre EDP.

Remarque 13.3.

Les intégrales dans les fonctions coûts comme pour les Pinns sont approchées par des méthodes de type Monte-Carlo.

Le principe de cette approche est qu'on travaille a grille fixée. En effet on va considérer des réseaux qui vont prendre comme entrée des fonctions spatiales discétisée et en entier et avoir une sortie du même type. On pourrait par exemple utiliser:

Des réseaux CNN (U-net, ResNet etc)
Des ODenet pour des équations temporelles

Les réseaux de type Resnet semble un peu limité pour ce type de problème. En effet vont appliquer des filtres convolutif locaux créer de plus en plus de signaux puis les regrouper. Spatialement le réseau va rester donc assez local ce qui limite se capacité a approcher le solution intégrale de l'EDP qui est non locale. Cela peut être compenser par la croissance importance de signaux puis leurs mélange mais il faudra problalement de très gros Resnet pour arriver à cela. Les réseaux de type Unet semble un bien meilleur candidat. En effet au debut on va appliquer des filtres convolutifs très locaux mais ensuite on va progressivement descendre en dimension par conséquent les filtres appliqués seront de moins en moins locaux spatialement car il s'appliqueront a des signaux très grossier en rafinement et donc un noyau à 5 pixels serait beaucoup moins localisé spatiallement sur un signal 8*8 que sur un signal 128*128. Cependant une fois entrainer un réseau de type UNet ne pourra marcher sur une grille de résolution différente. En effet les premier filtres étant très locaux, lorsqu'ils sont appris sur une grille donnée ne seront pas valable sur une grille deux fois plus fine ou moins fine. On ne peut donc pas changer la grille. Des opérations d'interpolation/restriction peuvent être utilisées pour traiter des grilles plus variées, mais on pourra payer les défauts des interpolations dans certains cas ce qui limite cette stratégie. Pour les maillages non structurés on peut utiliser des architectures de type Unet/ResNet couplés a des couches de convolution sur graphes et de pooling adaptées. Certains type de couches vont montrer une certaine robustesse aux changement de maillages cependant plus les filtres seront locaux plus les valeurs apprises ne seront pas valide pour des résolutions très différentes.

En général, en résolution d'EDP on souhaite pouvoir faire varier la discrétisation il a été développer la théorie des opérateux neuraux continue qui ont pour but de traiter plusieurs discrétisations.