Source : Etienne, PDF du 2026-04-17 (problem.pdf).
Soit \(\varphi : \mathbb{R}^d \to \mathbb{R}^r\) une fonction mesurable. On considère la famille de distributions à densité de la forme
\[ p_\theta(x) \;=\; Z_\theta^{-1}\, e^{-\theta^\top \varphi(x)}, \qquad \theta \in \Theta \subseteq \mathbb{R}^r, \tag{1} \]
où \(Z_\theta = \int_{\mathbb{R}^d} e^{-\theta^\top \varphi(x)}\,dx < \infty\) est la constante de normalisation, lorsqu'elle existe.
Étant donnée une variance \(\sigma^2 > 0\), on note \(\gamma_\sigma\) le noyau gaussien isotrope
\[ \gamma_\sigma(x) \;=\; \frac{1}{(2\pi\sigma^2)^{d/2}} \exp\!\left(-\frac{\|x\|^2}{2\sigma^2}\right), \tag{2} \]
et l'on définit la distribution lissée \(\tilde p_\theta = p_\theta \ast \gamma_\sigma\), c'est-à-dire
\[ \tilde p_\theta(x) \;=\; \int_{\mathbb{R}^d} p_\theta(x-y)\, \gamma_\sigma(y)\, dy. \tag{3} \]
À quelle condition sur \(\varphi\) la famille \(\{p_\theta\}_{\theta \in \Theta}\) est-elle stable par convolution gaussienne, au sens où pour tout \(\theta \in \Theta\) il existe \(\tilde\theta \in \mathbb{R}^r\) tel que
\[ \tilde p_\theta(x) \;\propto\; e^{-\tilde\theta^\top \varphi(x)} \;? \tag{4} \]
Plus précisément, on cherche à caractériser les statistiques \(\varphi\) pour lesquelles la convolution avec \(\gamma_\sigma\) préserve la structure exponentielle (1) — à reparamétrisation \(\theta \mapsto \tilde\theta\) près, la statistique \(\varphi\) étant fixée.
Un cas particulier important et tractable est celui où \(\varphi\) est une statistique quadratique. On suppose que les composantes de \(\varphi\) sont des formes quadratiques et linéaires en \(x\) :
\[ \varphi(x) \;=\; \bigl(x^\top A_k x\bigr)_{1 \le k \le r_1} \;\oplus\; (Bx), \qquad A_k \in \mathbb{R}^{d \times d},\; B \in \mathbb{R}^{r_2 \times d}, \tag{5} \]
avec \(r = r_1 + r_2\), de sorte que \(p_\theta\) est une densité gaussienne (non nécessairement normalisée). Le cas le plus courant est \(\varphi(x) = \bigl(\mathrm{vec}(xx^\top),\, x\bigr) \in \mathbb{R}^{d^2 + d}\).
Montrer que, lorsque \(\varphi\) est de la forme (5), la famille \(\{p_\theta\}\) est stable par convolution avec \(\gamma_\sigma\) au sens de la Question 1. Expliciter la transformation \(\theta \mapsto \tilde\theta\) induite par la convolution.
Remarque 1. Ce résultat repose sur le fait que le produit de deux exponentielles de formes quadratiques est encore une exponentielle de forme quadratique, et que la convolution de deux gaussiennes est gaussienne.
On note \(\nabla\varphi(x) = \bigl(\nabla\varphi_i(x)\bigr)_{1 \le i \le r} \in \mathbb{R}^{d \times r}\) et \(\Delta\varphi(x) = \bigl(\Delta\varphi_i(x)\bigr)_{1 \le i \le r} \in \mathbb{R}^{r}\).
Supposons que la famille soit stable au sens de la Question 1 : il existe un chemin dérivable \(t \mapsto \theta_t\), avec \(\theta_0 = \theta\), tel que pour tout \(t \ge 0\),
\[ p_{\theta_t}(x) \;=\; Z_{\theta_t}^{-1}\, e^{-\theta_t^\top \varphi(x)} \;=\; (p_\theta \ast \gamma_{\sqrt{2t}})(x). \]
Le membre droit vérifie l'équation de la chaleur en \(t\), donc en dérivant l'égalité on obtient \(\partial_t p_{\theta_t} = \tfrac{1}{2}\Delta_x p_{\theta_t}\). On calcule chaque membre.
D'une part,
\[ \partial_t p_{\theta_t}(x) \;=\; p_{\theta_t}(x) \left(-\dot\theta_t^\top \varphi(x) - \frac{d}{dt}\log Z_{\theta_t}\right). \]
D'autre part, en développant \(\Delta_x\!\bigl(e^{-\theta_t^\top \varphi(x)}\bigr) = e^{-\theta_t^\top \varphi(x)}\bigl(\|(\nabla\varphi(x))\theta_t\|^2 - \theta_t^\top \Delta\varphi(x)\bigr)\),
\[ \tfrac{1}{2}\Delta_x p_{\theta_t}(x) \;=\; p_{\theta_t}(x) \cdot \tfrac{1}{2}\Bigl(\|(\nabla\varphi(x))\theta_t\|^2 - \theta_t^\top \Delta\varphi(x)\Bigr). \]
En divisant par \(p_{\theta_t}(x) > 0\), la condition de stabilité est équivalente à :
\[ \dot\theta_t^\top \varphi(x) + \frac{d}{dt}\log Z_{\theta_t} \;=\; -\tfrac{1}{2}\|(\nabla\varphi(x))\theta_t\|^2 + \tfrac{1}{2}\theta_t^\top \Delta\varphi(x), \qquad \forall x \in \mathbb{R}^d,\, \forall t > 0. \tag{6} \]
Le membre gauche est affine en \(\varphi(x)\), tandis que le membre droit fait intervenir le carré \(\|(\nabla\varphi)\theta_t\|^2\) — terme non linéaire caractéristique de l'équation de Hamilton–Jacobi.
Remarque 2. En intégrant (6) contre \(p_{\theta_t}\), le terme \(\tfrac{d}{dt}\log Z_{\theta_t}\) est déterminé par \(\theta_t\) et \(\varphi\) ; l'équation peut alors se lire informellement comme la condition que \(\|(\nabla\varphi)\theta_t\|^2 - \theta_t^\top \Delta\varphi\) appartienne à \(\mathrm{Span}\{\varphi_1, \ldots, \varphi_r, 1\}\) pour tout \(\theta_t\) — c'est-à-dire une fermeture algébrique de la famille \(\{\varphi_i\}\) sous l'opérateur \(f \mapsto \tfrac{1}{2}\|\nabla f\|^2 - \tfrac{1}{2}\Delta f\). Cette formulation reste informelle car l'appartenance au span doit tenir uniformément en \(\theta_t\).
Montrer que la famille \(\{p_\theta\}_{\theta \in \Theta}\) est stable par convolution gaussienne au sens de la Question 1 si et seulement si il existe un chemin dérivable \(t \mapsto \theta_t \in \mathbb{R}^r\), avec \(\theta_0 = \theta\), vérifiant (6) pour tout \(x \in \mathbb{R}^d\) et tout \(t > 0\).
Etienne écrit : « Je pense que c'est un problème compliqué ; je m'attends à ce qu'ils n'arrivent pas à répondre aux questions, et se perdent dans des raisonnement circulaires. Mais, qui sait ? »
La Q2 est le marchepied : elle se traite à la main avec complétion de carré + convolution de gaussiennes. C'est le premier livrable. Q3 est un exercice de réécriture (dérivation de l'équation de la chaleur ⇒ identité polynomiale). Q1 est la question dure — la fermeture algébrique sous l'opérateur \(f \mapsto \tfrac{1}{2}\|\nabla f\|^2 - \tfrac{1}{2}\Delta f\) est le cœur du problème.