14 posts tagged with "概率论"

之前已经写过 Reparameterization trick，这里主要是想重新讲讲整个重参数化的逻辑。

在 强化学习-基本组件 中说强化学习会将动作建模一个随机变量。即：

深度强化学习将会预测其动作的分布参数 $\theta$，然后在计算奖励函数时输入 $a_{t}$，但是问题是该 $a_{t}$ 是从参数 $\theta$ 下分布采样得到的。也就是说这个地方的梯度无法反传。

在 布朗运动与朗之万方程 中已经介绍过随机过程，而高斯过程 (Gaussian process) 是一个特殊的随机过程。在高斯过程中，连续输入空间中每个点都是与一个正态分布的随机变量相关联 [^1]。

从单变量高斯分布说起。在 单变量高斯分布 中我们已经写出了单变量高斯分布的公式，在这里重复一遍。

从生成手段上看，条件控制生成有两种：事后修改 (Classifier-Guidance) 和事前训练 (Classifier-Free)。

利用已经训练好的生成模型，通过一个分类器来调控生成过程，这就是事后修改的方法，因为从头到位训练一个生成模型训练成本太大了。而对于大公司来说，不缺算力，所以一般采用的是在训练过程中加入训练信号，达到更好的训练生成效果，这就是 Classifier-Free 方案。

条件输入​

生成模型最关键的就是对于 $p(\boldsymbol{x}_{t-1}\mid \boldsymbol{x}_{t})$ 的建模，而条件生成就是以条件 $\boldsymbol{y}$ 作为条件输入，而这时的条件概率分布就可以写为 $p(\boldsymbol{x}_{t-1}\mid \boldsymbol{x}_{t},\boldsymbol{y})$。为了重用已经训练好的无条件生成模型 $p(\boldsymbol{x}_{t-1},\boldsymbol{x}_{t})$，我们利用贝叶斯定理：

Expectation Maximization(EM) 算法，该算法用于解决具有隐变量的混合模型的高斯和分布（例子可以见 三硬币模型）。在比较理想的情况中，我们可以直接得出我们求得的参数的解析解，比如： $\mathrm{MLE}:p(X\mid \theta)$。我们想要求解的结果就是：

其中，$\sum_{i=1}^N\log p(x_{i}\mid \theta)$ 也被我们称为 对数似然函数。但是一旦引入隐变量，似然函数变为：

在 高斯分布 中我们分别介绍了一维高斯分布情况，以及对于多元高斯分布表达式中的 马氏距离 进行了解释。这一节将主要介绍在多元高斯分布的常用定理进行介绍。

多元高斯的线性性质​

假设有数据：

其中 $x_{i}\in \mathbb{R}^p$，$x_{i} \sim \mathcal{N}(\mu, \Sigma)$，参数为 $\theta=(\mu,\Sigma)$

单变量高斯分布​

对于单变量的高斯分布 $\mathcal{N}(\mu,\sigma^2)$，即 $p=1$，其概率密度函数为

概率图模型（Probabilistic Graphical Model， PGM），简称图模型（Graphical Model，GM），是指一种用图结构来描述多元随机变量之间条件独立性的概率模型，从而给研究高维空间的概率模型带来了很大的便捷性。

为什么讲条件独立性呢？

对于一个 $K$ 维随机向量，其联合概率为高维空间中的分布，一般难以直接建模。假设有

为离散随机变量并且有 $m$ 个取值，在不作任何假设的情况下，则需要 $m^K-1$ 个参数才能表示其概率分布。参数是指数级的，我们在多元高斯分布中也反复说明过 高维问题，贝叶斯分类器条件假设。

假设我们有个特定的输入 $x$，我们想要 $\text{Inference}$ 它的类别，我们可以通过 贝叶斯定理 中的后验概率最大的类作为 $x$ 类的输入。

其中的 $Y$ 即输入的类别。

条件概率​

条件概率一般记作 $P(A\mid B)$，意思是当 $B$ 事件发生时，$A$ 事件发生的概率，其定义为

其中 $P(A\cap B)$ 意思是 $A$ 和 $B$ 共同发生的概率，称为联合概率。也可以写作 $P(A,B)$ 或 $P(AB)$。

Introduce​

三硬币模型​

假设有 3 枚硬币，分别记作 $A,B,C$。这些硬币正面出现的概率分别是 $\pi,p,q$。进行如下掷硬币实验：先掷硬币 $A$，根据其结果选出硬币 $B$，反面选硬币 $C$；然后掷选出的硬币，掷硬币的结果，出现正面记作 1，出现反面记作 0；独立地重复 $n$ 次实验（这里，$n=10$）,观测结果如下：