14 posts tagged with "概率论"

我们将整个 $n$ 维空间看做为半径 $R\to +\infty$ 的球，考虑到夹角具有伸缩不变性，所以考虑 $x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2}\le 1$ 和 $x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2} \le R^2$ 是等价的，所以我们就在 $n$ 维单位球里考虑这个问题就行了。

又注意到夹角具有旋转不变性，不妨设其中一个点为 $A(1,0,0, \cdots, 0)$，另一个点为 $B\left(x_{1}, x_{2}, \cdots x_{n}\right)$，其中 $\left \| \left \{ x_{1}, x_{2}, \cdots x_{n} \right \} \right \| =1$

Score Functions​

在 极大似然估计 中我们提到的似然函数 $L(\theta)$ 求一阶导即为 $Score\ Function$ 。记为

因为似然函数中存在许多连乘 $p(x;\theta)$，所以我们一般取对数，这时，作用就体现出来了。

Maximum Likelihood Estimation(MLE) 极大似然估计，又被称作最大似然估计。其可在给定概率分布模型的条件下用于模型参数的估计，即所谓的参数估计

基本原理​

对于一个常见的随机变量 $P(x;\theta)$，其中的 $x$ 是表示随机变量，$\theta$ 是该概率分布模型的模型参数。在不同的模型下有各自的模型参数，比如 二项分布(This page is not published) $p$，正态分布(This page is not published) 的 $\mu,\sigma$。

随机变量​

随机变量 (Random Variable) $X$ 是一个映射，把随机试验的结果与实数建立起了一一对应的关系。而期望与方差是随机变量的两个重要的数字特征。[^1]

数学期望​

在概率论和统计学中，数学期望 (mean)(或均值，亦简称期望 (Expectation, or expected value)) 是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。