Skip to main content

矩阵的 LU 分解

· 7 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

引入​

回想我们解方程组的过程

如果有方程组：

{2x1−x2+2x3=−8x1+2x2+3x3=−7x1+3x2=7\left\{\begin{aligned} 2 x_{1}-x_{2}+2 x_{3} & =-8 \\ x_{1}+2 x_{2}+3 x_{3} & =-7 \\ x_{1}+3 x_{2} & =7 \end{aligned}\right.

我们会想要通过一系列(消元，代入) 的操作化成是如下的样子：

泰勒展开式与 Hessian 矩阵

· 5 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

一元函数情况​

设一元函数 f(x)f(x) 在包含点 x0x_{0} 的开区间 (a,b)(a,b) 内具有 n+1n+1 阶导数，则当 x∈(a,b)x\in (a,b) 时，有

f(x)=f(x0)+f′(x0)(x−x0)+f′′(x0)2!(x−x0)2+⋯+f(n)(x0)n!(x−x0)n+Rn(x)f(x)=f\left(x_{0}\right)+f^{\prime}\left(x_{0}\right)\left(x-x_{0}\right)+\frac{f^{\prime \prime}\left(x_{0}\right)}{2 !}\left(x-x_{0}\right)^{2}+\cdots+\frac{f^{(n)}\left(x_{0}\right)}{n !}\left(x-x_{0}\right)^{n}+R_{n}(x)

其中的余项 (即误差)

雅可比（Jacobi）矩阵、海塞（Hessan）矩阵

· 3 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

一、雅可比（Jacobi）矩阵​

对于 nn 个变元的 mm 个函数

y1=f1(x1,x2,⋯ ,xn),y2=f2(x1,x2,⋯ ,xn),⋯⋯⋯⋯⋯⋯⋯ym=fm(x1,x2,⋯ ,xn),}\left.\begin{array}{l} y_{1}=f_{1}\left(x_{1}, x_{2}, \cdots, x_{n}\right), \\ y_{2}=f_{2}\left(x_{1}, x_{2}, \cdots, x_{n}\right), \\ \cdots \cdots \cdots \cdots \cdots \cdots \cdots \\ y_{m}=f_{m}\left(x_{1}, x_{2}, \cdots, x_{n}\right), \end{array}\right\}

它定于于某一 nn 维区域 D\mathcal{D} 中，并且在这一区域中有关于一切变元的连续偏导数

多元函数的极值 最大值与最小值

· 4 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

多元函数的极值 - 必要条件​

设函数

u=f(x1,x2,⋯ ,xn)u = f(x_1,x_2,\cdots,x_n)

并且定义于区域 D\mathcal{D} 中，并且 (x10,x20,⋯ ,xn0)(x_1^0,x_2^0,\cdots,x_n^0) 是区域上的内点。

tip

若点 (x10,x20,⋯ ,xn0)(x_1^0,x_2^0,\cdots,x_n^0) 存在邻域

极大似然估计

· 8 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

Maximum Likelihood Estimation(MLE) 极大似然估计，又被称作最大似然估计。其可在给定概率分布模型的条件下用于模型参数的估计，即所谓的参数估计

基本原理​

对于一个常见的随机变量 P(x;θ)P(x;\theta)，其中的 xx 是表示随机变量，θ\theta 是该概率分布模型的模型参数。在不同的模型下有各自的模型参数，比如 二项分布(This page is not published) pp，正态分布(This page is not published) 的 μ,σ\mu,\sigma。

正态分布

连续型随机变量 XX 如果满足如下密度函数

Nabla 算子与 Laplace 算子

· 4 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

Nabla 算子​

Nabla 算子被定义为:

∇=(∂∂x,∂∂y,∂∂z)=e⃗x∂∂x+e⃗y∂∂y+e⃗z∂∂z=∑i=13e⃗i∂∂xi\begin{equation} \nabla = \left(\frac{\partial}{\partial x}, \frac{\partial}{\partial y}, \frac{\partial}{\partial z}\right) = \vec{e}_{x} \frac{\partial}{\partial x}+\vec{e}_{y} \frac{\partial}{\partial y}+\vec{e}_{z} \frac{\partial}{\partial z} = \sum_{i = 1}^{3} \vec{e}_{i} \frac{\partial}{\partial x_{i}} \end{equation}
∇\nabla 作用于不同类型的量，得到的就是不同类型的新量：

Gramian 矩阵

· 2 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer
info

在线性代数中，内积空间中一族向量 {v1,…,vn}\{\displaystyle v_{1},\dots ,v_{n}\} 的格拉姆矩阵（Gramian matrix、Gram matrix 或 Gramian）是内积的 埃尔米特矩阵，其元素由 Gij=⟨vi,vj⟩{\displaystyle G_{ij}=\langle v_{i},v_{j}\rangle } 给出。

性质​

warning

格拉姆矩阵是 半正定(This page is not published) 的，反之每个半正定矩阵是某些向量的格拉姆矩阵。这组向量一般不是惟一的：任何 正交基 的格拉姆矩阵是单位矩阵。

理解协方差矩阵

· 10 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

随机变量​

随机变量 (Random Variable) XX 是一个映射，把随机试验的结果与实数建立起了一一对应的关系。而期望与方差是随机变量的两个重要的数字特征。[^1]

数学期望​

在概率论和统计学中，数学期望 (mean)(或均值，亦简称期望 (Expectation, or expected value)) 是试验中每次可能结果的概率乘以其结果的总和，是最基本的数学特征之一。它反映随机变量平均取值的大小。 期望值是该变量输出值的平均数。期望值并不一定包含于变量的输出值集合里。