EM 算法 - 收敛性December 5, 2023 · 3 min readPuQingAI, CVer, Pythoner, Half-stack DeveloperExpectation Maximization(EM) 算法，该算法用于解决具有隐变量的混合模型的高斯和分布（例子可以见 三硬币模型）。在比较理想的情况中，我们可以直接得出我们求得的参数的解析解，比如： MLE:p(X∣θ)\mathrm{MLE}:p(X\mid \theta)MLE:p(X∣θ)。我们想要求解的结果就是： θMLE=argmaxθ∑i=1Nlogp(xi∣θ)\theta_{MLE} = \arg \max_{\theta}\sum_{i=1}^N \log p(x_{i}\mid \theta)θMLE=argθmaxi=1∑Nlogp(xi∣θ) 其中，∑i=1Nlogp(xi∣θ)\sum_{i=1}^N\log p(x_{i}\mid \theta)∑i=1Nlogp(xi∣θ) 也被我们称为 对数似然函数。但是一旦引入隐变量，似然函数变为：
朴素贝叶斯分类器November 18, 2023 · 6 min readPuQingAI, CVer, Pythoner, Half-stack Developer假设我们有个特定的输入 xxx，我们想要 Inference\text{Inference}Inference 它的类别，我们可以通过 贝叶斯定理 中的后验概率最大的类作为 xxx 类的输入。 P(Y=ck∣X=x)=P(X=x∣Y=ck)P(Y=ck)∑kP(X=x∣Y=ck)P(Y=ck)\begin{equation} P\left(Y=c_{k} \mid X=x\right)=\frac{P\left(X=x \mid Y=c_{k}\right) P\left(Y=c_{k}\right)}{\sum_{k} P\left(X=x \mid Y=c_{k}\right) P\left(Y=c_{k}\right)} \label{1} \end{equation}P(Y=ck∣X=x)=∑kP(X=x∣Y=ck)P(Y=ck)P(X=x∣Y=ck)P(Y=ck) 其中的 YYY 即输入的类别。
Score Function and Fisher Information MatrixJuly 30, 2023 · 4 min readPuQingAI, CVer, Pythoner, Half-stack DeveloperScore Functions 在 极大似然估计 中我们提到的似然函数 L(θ)L(\theta)L(θ) 求一阶导即为 Score FunctionScore\ FunctionScore Function 。记为 S(θ)=dL(θ)dθS(\theta) = \frac{d L(\theta)}{d \theta}S(θ)=dθdL(θ) 因为似然函数中存在许多连乘 p(x;θ)p(x;\theta)p(x;θ)，所以我们一般取对数，这时，作用就体现出来了。
