Skip to main content

2 posts tagged with "混合模型"

View All Tags

EM 算法 - 收敛性

· 3 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

Expectation Maximization(EM) 算法，该算法用于解决具有隐变量的混合模型的高斯和分布（例子可以见 三硬币模型）。在比较理想的情况中，我们可以直接得出我们求得的参数的解析解，比如： MLE:p(X∣θ)\mathrm{MLE}:p(X\mid \theta)。我们想要求解的结果就是：

θMLE=arg⁡max⁡θ∑i=1Nlog⁡p(xi∣θ)\theta_{MLE} = \arg \max_{\theta}\sum_{i=1}^N \log p(x_{i}\mid \theta)

其中，∑i=1Nlog⁡p(xi∣θ)\sum_{i=1}^N\log p(x_{i}\mid \theta) 也被我们称为 对数似然函数。但是一旦引入隐变量，似然函数变为：

Mixture Model

· 5 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer
info

In statistics, a mixture model is a probabilistic model for representing the presence of subpopulations within an overall population, without requiring that an observed data set should identify the sub-population to which an individual observation belongs

Introduce​

三硬币模型​

假设有 3 枚硬币，分别记作 A,B,CA,B,C。这些硬币正面出现的概率分别是 π,p,q\pi,p,q。进行如下掷硬币实验：先掷硬币 AA，根据其结果选出硬币 BB，反面选硬币 CC；然后掷选出的硬币，掷硬币的结果，出现正面记作 1，出现反面记作 0；独立地重复 nn 次实验（这里，n=10n=10）,观测结果如下：