📄️ KL divergence of two Gaussian distributions
For a multivariate Guassian random variable $\bold \sim \mathcal{N}(\boldsymbol{\mu}, \Sigma)$，the probability density function is
📄️ generative model
Discriminative Model:* Learn a probability distribution $p(y|\bold)$
📄️ ELBO
Evidence lower bound (ELBO), variational lower bound:
📄️ head2head
one-to-many mapping.
📄️ Reparameterization Trick
在 VAE 中，我们要对 ELBO 求关于 $\boldsymbol{\phi}$ 的偏导数 $\mathbb{q{\boldsymbol{\phi}}(\bold{z}|\bold{x})} [\boldsymbol{f}(\bold{z})]$，$\bold{z}$ 是连续随机变量， $\bold{z}$ given $\bold{x}$ 的条件密度函数为 $g_{\boldsymbol{\phi}}(\bold{z|x})$。在 VAE 中 $\bold{z}$ 作为 encoder 的输出，其具有灵活性。