2 posts tagged with "函数"

在深度学习中，我们会使用很多不可导函数，比如 $\max$，$\arg\min$，所以有一个很有意思的问题就是如何构造一个可导函数是的该函数逼近上述的不可导函数。当然该问题已经被大牛讨论很多次了 [^1][^2]

Max​

我们想要寻找到一个平滑的二元函数 $f(x,y)$ ，它的效果近似于 $\max(x,y)$ ，足以用来代替最大值函数？在设计这样的函数时，下面这些条件需要尽可能满足：

仿射变换​

仿射变换 (Affine transformation)，又称为仿射映射，是指在几何中，对一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间 [^1]

有向量 $\vec{x}$，以及有线性变换矩阵 $\mathbf{A}$，以及平移向量 $\mathbf{b}$。则有仿射变换：

假设该映射是一个 $\mathbb{R}^n \to \mathbb{R}^m$ 的映射，则其中的矩阵 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵，$\mathbf{b}$ 是一个 $m$ 维向量。