Gamma Function

计算积分

$$I = \int_{-\infty}^{\infty}e^{-\frac{t^2}{2}}dt$$

其平方为

$$I^2 = \int_{-\infty}^{\infty}e^{-\frac{x^2}{2}}dx\int_{-\infty}^{\infty}e^{-\frac{y^2}{2}}dy = \int_{-\infty}^{\infty} \int_{-\infty}^{\infty} e^{-\frac{x^2 + y^2}{2}}dxdy$$

极坐标变换：$x=r\cos\theta, y=\sin\theta$，则

$$I^2 = \int_{0}^{\infty} \int_{0}^{2\pi} r e^{-\frac{r^2}{2}}d\theta dr=2\pi \int_{0}^{\infty} r e^{-\frac{r^2}{2}}dr=2\pi$$

则 $I=\sqrt{2\pi}$

Gamma函数：含参数 $\alpha$ 的积分

$$\Gamma(\alpha) = \int_{0}^{\infty} x^{\alpha-1}e^{-x}dx, \quad \alpha > 0$$

• 性质： $\Gamma(\frac{1}{2})=\sqrt{\pi}$，证明
  $$\Gamma(\frac{1}{2}) = \int_{0}^{\infty} x^{-\frac{1}{2}}e^{-x}dx$$
  Let $x=u^2$，$dx=2udu$，thus $x^{-\frac{1}{2}}=\frac{1}{u}$,

$$\begin{aligned} \int_{0}^{\infty} x^{-\frac{1}{2}}e^{-x}dx &= \int_{0}^{\infty} \frac{1}{u} e^{-u^2} 2u du \\ &= 2\int_{0}^{\infty}e^{-u^2} du \\ &= \int_{-\infty}^{\infty}e^{-u^2} du \\ &= \frac{1}{\sqrt{2}} \int_{-\infty}^{\infty}e^{-u^2} du \\ & = \frac{1}{\sqrt{2}} \sqrt{2\pi}=\sqrt{\pi} \end{aligned}$$

对于高斯分布的熵计算，我们可以通过以下步骤将其表达式进行化简：

1. 将高斯分布的概率密度函数代入熵的定义：

   $$H(\mathbf{X}) = -\int \ldots \int f(\mathbf{x}) \log f(\mathbf{x}) \, dx_1 dx_2 \ldots dx_n$$

2. 将高斯分布的概率密度函数进行展开：

   $$f(\mathbf{x}) = \frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)$$

3. 将展开后的概率密度函数代入熵的计算式中，并进行对数运算：

   $$\begin{aligned} H(\mathbf{X}) &= -\int \ldots \int \left(\frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)\right) \log \left(\frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)\right) \, dx_1 dx_2 \ldots dx_n \\ &= -\int \ldots \int \left(\frac{1}{\sqrt{(2\pi)^n |\Sigma|}} \exp\left(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right)\right) \left(-\log \left(\sqrt{(2\pi)^n |\Sigma|}\right) - \frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})\right) \, dx_1 dx_2 \ldots dx_n \\ &= \frac{1}{2}\log((2\pi e)^n|\Sigma|) \end{aligned}$$

4. 在上述化简过程中，我们利用了以下性质：

   • $\log(ab) = \log a + \log b$
   • $\log(e^x) = x$
   • $\int \exp(-\frac{1}{2}(\mathbf{x}-\boldsymbol{\mu})^T \Sigma^{-1} (\mathbf{x}-\boldsymbol{\mu})) \, dx_1 dx_2 \ldots dx_n = (2\pi)^{\frac{n}{2}}|\Sigma|^{\frac{1}{2}}$

综上所述，我们得到了高斯分布熵的简化表达式 $H(\mathbf{X}) = \frac{1}{2}\log((2\pi e)^n|\Sigma|)$。