Skip to main content

2 posts tagged with "ODE"

View All Tags

Banach Fixed point Theorem

· 5 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

两个例子​

落在地图上的地图

有命题：将一座公园的地图铺开在公园的地面上，则地面上恰好有唯一一点与地图上对应的点重合

设公园可以用有界的面闭区域 Ωˉ\bar{\Omega} 表示。设地图的比例是 λ\lambda (它当然介于 0 和 1 之间)。现在固定一个平面坐标系，把地图铺在区域 Ωˉ\bar{\Omega} 内（公园内），则从 Ωˉ\bar{\Omega} 内的点（物理公园中的地点）到地图上对应点的变换由下面的公式给出：

梯度下降

· 3 min read
PuQing
PuQing
AI, CVer, Pythoner, Half-stack Developer

假设我们想搜索光滑函数 f(x)f(x) 的最小值，常见的方案是梯度下降（Gradient Descent），即按照如下格式进行迭代：

xt+1=xt−α∇xtf(xt)\begin{equation} \boldsymbol{x}_{t+1} = \boldsymbol{x}_{t}-\alpha \nabla_{\boldsymbol{x}_{t}} f\left(\boldsymbol{x}_{t}\right) \end{equation}

如果 f(x)f(x) 关于 xx 的凸的，那么梯度下降通常能够找到最小值点；相反，则通常只能收敛到一个 “ 驻点 “——即梯度为 0 的点，比较理想的情况下能收敛到一个极小值（局部最小值）点。这里没有对极小值和最小值做严格区分，因为在深度学习中，即便是收敛到一个极小值点也是很难得的了。

Why?