Apprentissage et calcul scientifique

Subsection 6.2.1 Principes des flots normalisés

Il s'agit de modèles permettant d'estimer des densités de probabilité complexes (potentiellement en grande dimension). Contrairement a d'autres méthodes qui permettent d'échantillonner la loi construite, mais ne la donnent pas explicitement les flots normalisés permettent de construire explicitement la loi. On cherche donc à approcher \(p(\boldsymbol{x})\) avec \(\boldsymbol{x} \in \mathbb{R}^d\) par une densité paramétrée \(p_{\theta}(x)\text{.}\) L'idée est la suivante: on chercher à déterminer une \textbf{transformation inversible} \(f\) tel

On suppose ici que \(\pi_{\psi}(\boldsymbol{z})\) est une distribution connue comme une loi normale multivariée ou autre de paramètre \(\psi\text{.}\) Imaginons que cette transformation est connue: comment déterminer \(p(\boldsymbol{x})\text{.}\) On rappelle que par définition des loi de probabilité

Maintenant on utilise le changement de variables dans l'intégrale de droite. Cela permet d'obtenir

En utilisant l'égalité des intégrales précédentes (car on parle de densité de probabilité) et la réécriture juste au-dessus on obtient que

On voit donc que sous réserve d'avoir une transformation inversible on peut calculer la loi \(p(\boldsymbol{x})\) à partir d'une loi connue \(\pi_{\psi}(\boldsymbol{z})\text{.}\) On voit donc qu'en construisant une transformation \(f_{\phi}\) on pourra obtenir la densité.

La seconde l'idée des flots normalisés est de remarque qu'en se limitant à un diffeomorphisme cela peut limiter l'expressivité du modèle \(p_{\theta}(\boldsymbol{x})\) qui va approcher \(p(\boldsymbol{x})\text{.}\) Pour cela on propose d'enchaîner une série de transformation pour obtenir un flot ( qu'on pourrait interpréter comme un flot discret issu d'une EDO). On parle de flot normalisé à cause de la présence du déterminant du jacobien. Le principe peut être vu sur l'image Figure 6.1.

Maintenant qu'on a défini comment calculer la vraisemblance de notre distribution issue d'un flot normalisé, on va pouvoir définir la fonction de coût à minimiser et voir comment effectuer l'apprentissage de ce type de modèle. Soit \(p^{*}(\boldsymbol{x})\) la densité qu'on cherche à obtenir et \(p_{\theta}(\boldsymbol{x})\) notre densité modélisée par un flot normalisé de paramètre \(\theta=(\psi,\phi)\text{.}\) Dans ce cas nous souhaitons résoudre:

avec \(D_{KL}\) la divergence de Kulback-Leibler. Évidemment on ne connaît \(p_{*}\) donc on doit réécrire notre problème de minimisation.

Subsection 6.2.2 Exemple de flots normalisés

Maintenant on va introduire des exemples de flots normalisés. Cela revient donc a proposer des transformations inversibles qui vont être plus ou moins expressives.

Subsubsection 6.2.2.1 Modèles NICE et RealNVP

Les méthodes NICE et RealNVP proposent d'appliquer des transformation qu'on pourrait dire triangulaire. C'est a dire qu'un certains nombre de dimension de notre entrée vont rester inchangés et on va appliquer une transformation sur les autres dimensions qui dépend des dimensiuon inchangées. On va commencer par introduire la méthode NICE qui est la plus simple.

Définition 6.5. Transformation du modèle NICE.

On se donne un entrée de \(x\in \mathbb{R}^d\) et une sortie \(y\in \mathbb{R}^d\text{.}\) La transformation utilisée dans l'approche RealNVP est donnée par

\begin{equation*} y=f(x)= \left\{\begin{array}{l} y_{1:m}=x_{1:m} \\ y_{m+1:d}= x_{m+1:d}+t_{\theta}(x_{1:m}) \end{array}\right. \end{equation*}

avec \(m\lt d\) et \(t_{\theta}:\mathbb{R}^m\rightarrow \mathbf{d-m}\) un réseaux de neurones.

Ce type de transformation possède deux avantages. Elle est inversible en effet l'inverse est donné par:

\begin{equation*} x=f^{-1}(y)= \left\{\begin{array}{l} x_{1:m}=y_{1:m} \\ x_{m+1:d}= (y_{m+1:d} - t_{\theta}(y_{1:m})) \end{array}\right. \end{equation*}

Le deuxième avantage est le calcul rapide de la Jacobienne et du déterminant qui sera indispensable dans le calcul de la fonction coût. En effet la jacobienne est donnée par

\begin{equation*} J = \begin{pmatrix} I_m \amp O_{m\times (d-m)}\\ \frac{\partial y_{m+1:d}}{\partial x_{1:m}} \amp I_d \end{pmatrix} \end{equation*}

et le déterminant est donné par \(I_d\text{.}\) Cela rend évidemment très simple le calcul de la fonction coût d'apprentissage. La méthode RealNVP va généraliser un peu la méthode NICE en prenant comme transformations non seulement des translations mais aussi des dilatations.

Définition 6.6. Transformation du modèle realNVP.

On se donne un entrée de \(x\in \mathbb{R}^d\) et une sortie \(y\in \mathbb{R}^d\text{.}\) La transformation utilisée dans l'approche RealNVP est donnée par

\begin{equation*} y=f(x)= \left\{\begin{array}{l} y_{1:m}=x_{1:m} \\ y_{m+1:d}= x_{m+1:d}\odot e^{s_{\theta}(x_{1:m})}+t_{\theta}(x_{1:m}) \end{array}\right. \end{equation*}

avec \(m\lt d\) et \(s_{\theta}:\mathbb{R}^m\rightarrow \mathbf{d-m}\text{,}\) \(t_{\theta}:\mathbb{R}^m\rightarrow \mathbf{d-m}\) des réseaux de neurones.

Ce type de transformation possède deux avantages. Elle est inversible en effet l'inverse est donné par:

\begin{equation*} x=f^{-1}(y)= \left\{\begin{array}{l} x_{1:m}=y_{1:m} \\ x_{m+1:d}= (y_{m+1:d} - t_{\theta}(y_{1:m}))\odot e^{-s_{\theta}(y_{1:m})} \end{array}\right. \end{equation*}

Le deuxième avantage est le calcul rapide de la Jacobienne et du déterminant qui sera indispensable dans le calcul de la fonction coût. En effet la jacobienne est donnée par:

\begin{equation*} J = \begin{pmatrix} I_m \amp O_{m\times (d-m)}\\ \frac{\partial y_{m+1:d}}{\partial x_{1:m}} \amp diag(e^{s_{\theta}(x_{1:m})}) \end{pmatrix} \end{equation*}

et le déterminant est donné par:

\begin{equation*} Det(J)= \Pi_{j=1}^{d-m}(e^{s_{\theta}(x_{1:m})})_j = exp^{\sum_{j=1}^{d-m} (s_{\theta}(x_{1:m}))_j} \end{equation*}

Ce calcul est d'autant plus simple qu'il ne nécessite pas d'inverser les réseaux de neurones qui peuvent être donc arbitrairement compliqués.

On voit sur la figure Figure 6.7 que un flot de ce type peut évidemment translaté et dilaté la distrubution mais aussi la couper. Cela permet d'apprendre des distributions assez complexes.