Skip to main content

机器学习 - 凸优化

· 7 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer
定义

凸优化问题 (OPT,convex optimization problem) 指定义在凸集中的凸函数最优化的问题。

数学概念​

凸集​

定义

假设 CC 是向量空间的集。若对于任意 x,y∈Cx,y\in C 和任意的 θ∈R\theta\in \mathbb{R}，满足 0≤θ≤10\le \theta \le 1 时，θx+(1−θ)y∈C\theta x+(1-\theta)y \in C 恒成立。则称 CC 为 凸集[^1]

狄拉克 Delta 函数

· 4 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

狄拉克 δ(x)\delta(x) 函数并不是数学中一个严格意义上的函数，而是泛函分析中称为 广义函数(generalized function)(This page is not published) 或者分布 (distribution)。它在除零以外的点上都等于零，且在整个定义域上的积分等于 11.

Why?

假设 f(x)=δ(x)f(x)=\delta(x) 和 g(x)=0g(x)=0 这两个数学对象除了在 x=0x=0 以外都有相同的值，但其积分却不相同。根据 勒贝格积分 理论，若 ff 和 gg 为函数，使得 f=gf=g 几乎处处 成立，则 ff 可积当且仅当 gg 可积且 ff 和 gg 的积分相同。

Green 函数

· 8 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

引入​

Electrostatics​

info

对于有电荷密度函数 ρ(r′)\rho(\boldsymbol{r}') 其在场位置 r\boldsymbol{r} 处的电势满足：

−∇2ϕ=ρϵ0-\nabla^2\phi = \frac{\rho}{\epsilon_{0}}

Driven Oscillator​

info

以及 Driven Oscillator 系统满足

Poisson 方程

· 4 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer
info

已经多次遇到 Poisson\mathrm{Poisson} 方程了，所以介绍一下

方程表述​

Δφ=f\Delta \varphi=f

这里的 Δ\Delta 代表的是 Laplace算子，而 ff 和 φ\varphi 可以是实数或者复数方程。拉普拉斯算子又可以写成 ∇2\nabla^2 所以，泊松方程通常写为：

为 OpenVINO 新增 Paddle 算子转换支持

· 9 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

介绍​

在这篇教程中，你将会一步一步学习如何为 OpenVINO 新增 Paddle 算子转换支持。PaddlePaddle 是最受欢迎的国产深度学习框架之一，虽然 OpenVINO 已经支持了 Paddle 离线模型的载入以及转换为 IR 格式，但是随着框架的迭代更新，会不断的构建新的算子，甚至修改部分算子的 API 接口，所以需要开发者添加新的算子映射支持，从而使 Paddle 以及 OpenVINO 更加易用。

第一步：Fork​

首先至 OpenVino 官方仓库，然后点击 fork 按钮，生成自己目录下的仓库，比如 https://github.com/USERNAME/openvino

Git 求救指南

· 7 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

不增添 Commit 前提下修改内容​

哒哒，git commit --amend 指令

>> git log
commit b7a2d1fb4b00ac3207ff7251ebdc92a181853322 (HEAD -> master)
Author: PuQing <me@puqing.work>
Date:   Mon Jul 31 16:18:57 2023 +0800

    add

你已经有了一个 commit 记录，之后修改了内容：

Score Function and Fisher Information Matrix

· 4 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

Score Functions​

在 极大似然估计 中我们提到的似然函数 L(θ)L(\theta) 求一阶导即为 Score FunctionScore\ Function 。记为

S(θ)=dL(θ)dθS(\theta) = \frac{d L(\theta)}{d \theta}

因为似然函数中存在许多连乘 p(x;θ)p(x;\theta)，所以我们一般取对数，这时，作用就体现出来了。

矩阵的 LU 分解

· 7 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

引入​

回想我们解方程组的过程

如果有方程组：

{2x1−x2+2x3=−8x1+2x2+3x3=−7x1+3x2=7\left\{\begin{aligned} 2 x_{1}-x_{2}+2 x_{3} & =-8 \\ x_{1}+2 x_{2}+3 x_{3} & =-7 \\ x_{1}+3 x_{2} & =7 \end{aligned}\right.

我们会想要通过一系列(消元，代入) 的操作化成是如下的样子：