MM 算法原理​

MM 主要的思想是 非凸函数 太难优化了，我们就构造一个 “ 代理模型 ” ，通过迭代优化该函数达到优化的目的。

Expectation Maximization(EM) 算法，该算法用于解决具有隐变量的混合模型的高斯和分布（例子可以见 三硬币模型）。在比较理想的情况中，我们可以直接得出我们求得的参数的解析解，比如： $\mathrm{MLE}:p(X\mid \theta)$。我们想要求解的结果就是：

其中，$\sum_{i=1}^N\log p(x_{i}\mid \theta)$ 也被我们称为 对数似然函数。但是一旦引入隐变量，似然函数变为：

在 高斯分布 中我们分别介绍了一维高斯分布情况，以及对于多元高斯分布表达式中的 马氏距离 进行了解释。这一节将主要介绍在多元高斯分布的常用定理进行介绍。

多元高斯的线性性质​

假设有数据：

其中 $x_{i}\in \mathbb{R}^p$，$x_{i} \sim \mathcal{N}(\mu, \Sigma)$，参数为 $\theta=(\mu,\Sigma)$

单变量高斯分布​

对于单变量的高斯分布 $\mathcal{N}(\mu,\sigma^2)$，即 $p=1$，其概率密度函数为

概率图模型（Probabilistic Graphical Model， PGM），简称图模型（Graphical Model，GM），是指一种用图结构来描述多元随机变量之间条件独立性的概率模型，从而给研究高维空间的概率模型带来了很大的便捷性。

为什么讲条件独立性呢？

对于一个 $K$ 维随机向量，其联合概率为高维空间中的分布，一般难以直接建模。假设有

为离散随机变量并且有 $m$ 个取值，在不作任何假设的情况下，则需要 $m^K-1$ 个参数才能表示其概率分布。参数是指数级的，我们在多元高斯分布中也反复说明过 高维问题，贝叶斯分类器条件假设。

假设我们有个特定的输入 $x$，我们想要 $\text{Inference}$ 它的类别，我们可以通过 贝叶斯定理 中的后验概率最大的类作为 $x$ 类的输入。

其中的 $Y$ 即输入的类别。

条件概率​

条件概率一般记作 $P(A\mid B)$，意思是当 $B$ 事件发生时，$A$ 事件发生的概率，其定义为

其中 $P(A\cap B)$ 意思是 $A$ 和 $B$ 共同发生的概率，称为联合概率。也可以写作 $P(A,B)$ 或 $P(AB)$。

Introduce​

三硬币模型​

假设有 3 枚硬币，分别记作 $A,B,C$。这些硬币正面出现的概率分别是 $\pi,p,q$。进行如下掷硬币实验：先掷硬币 $A$，根据其结果选出硬币 $B$，反面选硬币 $C$；然后掷选出的硬币，掷硬币的结果，出现正面记作 1，出现反面记作 0；独立地重复 $n$ 次实验（这里，$n=10$）,观测结果如下：

Motivation​

假设我们有个在参数 $\theta$ 下的正态分布 $q$。我们想要求解下面这样一个问题

其中 $E_{q}[f(x)]$ 的意思是求满足 $q$ 分布下的随机变量函数 $f(x)$ 的均值，而最外层的 $\min_{\theta}$ 则是求使得该均值最小时的 $\theta$