SciML Master CSMI

Cette page regroupe les deus cours l'apprentissage profond scientifique dispensés en M1 et M2 du Master CSMI. Ce domaine porte sur l'utilisation de méthodes issues de l'apprentissage et de leurs applications au EDP. A travers ses deux cours nous introduirons un certains nombres d'outils d'apprentissage puis leurs applications à la résolution EDP/EDO, la découverte d'équation à partir de données ou la construction de modèles réduits. Associé à ce cours nous proposons un document qui reprendra les notions du cours et sera complétés par des notions supplémentaires d'apprentissage et de calcul scientifique.
Document: Cours d'apprentissage et calcul scientifique, ( document Pretext )
Enseignants : E. Franck et L. Navoret

SciML 1

Le cours de M1 introduira un certains nombre d'outils de base pour l'apprentissage scientifique en les appliquant à l'apprentissage d'EDOs notamment avec structure puis il introduira les méthodes numériques basés sur les réseaux de neurones. On finira par une introduction aux modèles génératifs.
Programme du cours:
Chapitre 1 (approximativement 1.5 séances): Rappel de probabilité et d'apprentissage.
Contenu: rappels de probabilité, apprentissage linéaire et sur-apprentissage, régression à noyaux, processus gaussien, réseaux de neurones type Perceptron et introduction aux optimiseurs.
Slides:
Rappel d'apprentissage V0.
TP et codes:
ici.

Chapitre 2 (approximativement 3.5 séances): EDO et apprentissage
Contenu: Introduction à l apprentissage de séries temporelles, EDO et structure géométriques, schémas numériques, apprentissage d'EDO par des réseaux ou Sindy, ODenet, differentiation automatique et apprentissage d'EDO, apprentissage de flot.
Contenu Bonus: Programmation différentiable d'ordre 2
Slides:
EDO et structure géométriques V0,
Apprentissage d'EDO V0,
Programmation différentiable V0,
Apprentissage de flot V0,
TP et codes: A venir
EDO.
Programmation differentiable.

Chapitre 3 (approximativement 5 séances): Méthodes numériques basées sur les réseaux
Contenu: Rappel sur les EDP elliptiques et temporelles, méthodes de Galerkin, méthodes PINNs et Deep-Riez, éléments et théoriques pratiques pour les PINNs, méthode NTK et biais des PINNs, variantes pour les méthodes PINNs, décomposition de domaine, PINNs discret en temps et méthodes Neural Galerkîn. Méthode des "Features" aléatoires.
Contenu Bonus: Méthodes de Deep-Kolmogorov
Slides:
EDP elliptiques et méthodes numériques V0,
Deep-Ritz et PINNs pour lesEDP elliptiques V0,
Architectures et entrainement avanvés pour les PINNs V0,
PINNs, PINNs dsicret et méthode neurales Galerkin pour les EDP temporelles V0,
TP et codes: A venir

Chapitre 4 (approximativement 4 séances): Modèle Géneratifs
Contenu: Principe des modèles géneratifs, mélange Gaussien, VAE, modèles d'énergie et méthodes de Score Matching. Application aux EDP.
Slides: A venir
TP et codes: A venir

SciML 2

Le cours de M2 complétera les connaissances sur les PINNs. Ensuite il abordera la prédiction de solution d'EDP et l'approximation de terme non locaux par les CNN, les réseaux sur graphes puis les opérateurs neuraux. Ces outils nous permettrons aussi d'introduire des méthodes nonlinéaires pour construire des modèles réduits (voir cours ROM). On finirera par étudier des modèles génératifs basés sur les EDO et EDS.
Programme du cours:
Chapitre 1 (approximativement 2 séances): PINNs, contrôle et géométrie
Contenu: PINNs pour les problèmes inverses et le contrôle optimal, PINNs pour le traitement du signal géométrique et l'optimisation de forme.
Contenu Bonus: PINNs pour les EDP hyperboliques
Slides: A venir
TP et codes: A venir

Chapitre 2 (approximativement 3 séances): CNN, GNN et EDP
Contenu: Introduction au CNN, notions d'invariance et d'équivariance, UNet pour les EDP. Introduction aux traitement du signal sur graphe, GNN spectraux et spatiaux, "oversmoothing" et "oversquashing", transferabilité. Application à la résolution d'EDP
Contenu Bonus: Groupe CNN/GNN
Slides:
Introduction aux CNN et GNN V0,
TP et codes: A venir

Chapitre 3 (approximativement 2 séances): ROM et apprentissage
Contenu: Réduction de dimension par DMD,CNN, GNN et représentation implicite, apprentissage de l'hyper-réduction et de fermeture, apprentissage de la dynamique, approche "end-to-end".
Contenu Bonus: Réduction de dimension préservant la structure
Slides:
Méthodes linéaires et nonlinéaire de réduction de dimension V0,
Modèles réduits V0,
TP et codes: A venir

Chapitre 4 (approximativement 3 séances): Opérateurs neuronaux
Contenu: Théorie de Green pour les EDP, opérateurs neural de Green, théorie générale des opérateurs neuraux, opérateurs neuronaux basés sur les graphes, DeepOnet et GreenNet. approches spectrales, approches basées sur l'attention, extension aux problèmes d'évolution
Contenu Bonus: Opérateurs neuronaux et représentation implicites
Introduction aux opérateurs neuraux V0,
Architectures et opérateurs neuraux V0,
Opérateurs neuraux pour les problèmes temporels V0,
TP et codes: A venir

Chapitre 5 (approximativement 4 séances): Modèles génératifs et EDO
Contenu: Flots normalisés discrets et continus, méthodes de "flow matching" et interpolants stochastiques, modèles de diffusion, EDS et interpolant stochastiques, méthodes d'accélération de l échantillonnage, applications au edp
Slides: A venir
TP et codes: A venir