我们将整个 $n$ 维空间看做为半径 $R\to +\infty$ 的球，考虑到夹角具有伸缩不变性，所以考虑 $x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2}\le 1$ 和 $x_{1}^{2}+x_{2}^{2}+\cdots+x_{n}^{2} \le R^2$ 是等价的，所以我们就在 $n$ 维单位球里考虑这个问题就行了。

又注意到夹角具有旋转不变性，不妨设其中一个点为 $A(1,0,0, \cdots, 0)$，另一个点为 $B\left(x_{1}, x_{2}, \cdots x_{n}\right)$，其中 $\left \| \left \{ x_{1}, x_{2}, \cdots x_{n} \right \} \right \| =1$

在高中就已经学过函数的 $n$ 阶导数，其中的 $n$ 是正整数，$1,2,3,\cdots,n$，能否能够将这里的 $n$ 推广至整数，以及推广至有理数，实数。

负整数阶导数​

很自然的认为，函数的负整数导数应该是求它的不定积分，并且相差参数 $C$。

这篇文章是深度学习中对抗攻击和防御的一个综述性文章（2019）。文章首先介绍了攻击在训练阶段和测试阶段的实现方法。然后分别总结了对抗技术在 CV, NLP, 网络安全和在真实世界中的应用。最后还介绍了三类主要的对抗防御方法：修改数据、修改模型、使用辅助工具。另外还提出了一种用于生成对抗性文本样本的算法。

Abstract（摘要）​

Adversarial Samples and Adversarial Attack Strategies​

对抗样本​

对抗样本是论文 [^1][^1] 中首次提出的，指的是添加肉眼不可见的扰动，造成目标网络分错类（对于分类来说）。最典型的来说就是下面这张图：

动态系统的定义​

控制理论把系统当作成黑箱，那么这个黑箱和外界的交互，便对应了不同时间点的输入输出。

在 $t$ 时刻，上面图中 $m$ 个会影响系统的输入量在控制理论里称为控制变量，而这 $p$ 个系统输出可以被传感器测量的量称为测量变量。这里我们只研究连续时变的线性系统，即系统输出量由描述系统的函数，通过输入量在时域上唯一确定。并且我们可以将系统的行为分为静态和动态两类。

Introduce​

Koopman 是使用线性系统用来近似非线性系统的一个符号算子，使用线性系统近似非线性系统后，就可以使用线性系统的控制理论来控制非线性系统了。

线性系统​

在 仿射变换与仿射函数 中已经探讨过如何判断线性性。

单词的表达​

One Hot Representation​

类似于图像分类任务中的 One Hot 编码，我们可以对于单词施行 One Hot Representation.

L1 与 L2 的比较是一个老生常谈的问题

本文章想要回答下面这个问题

L1- 正则化更稀疏​

为了探究 $L_{1}$ 和 $L_{2}$ 正则化效果，设计了一个蒙特卡洛实验。

概述​

先来从损失函数的角度引入，机器学习训练的过程，就是要找到一个足够好的函数 $F^*$ 用以在新的数据上进行推理。而为了定义这个好，我们引入了损失函数的概念。一般的，对于样本 $(\vec{x}, y)$ 和模型 $F$，有预测值 $\hat{y}=F(\vec{x})$。而损失函数是定义在 $\mathbb{R}\times \mathbb{R}\to \mathbb{R}$ 上的二元函数 $\ell(y, \hat{y})$，用来描述 $\mathrm{Ground \ Truth}$ 和预测值之间的差距。一般来说，损失函数是一个有下确界的函数；当预测值和 $\mathrm{Ground \ Truth}$ 足够接近，损失函数的值也会接经该下确界。

偏差 (Bias)​

其中，$E[\cdot]$ 表示期望，$f(x)$ 是真实值，$\hat{f}(x)$ 是模型对给定输入 $x$ 的预测

仿射变换​

仿射变换 (Affine transformation)，又称为仿射映射，是指在几何中，对一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间 [^1]

有向量 $\vec{x}$，以及有线性变换矩阵 $\mathbf{A}$，以及平移向量 $\mathbf{b}$。则有仿射变换：

假设该映射是一个 $\mathbb{R}^n \to \mathbb{R}^m$ 的映射，则其中的矩阵 $\mathbf{A}$ 是一个 $m\times n$ 的矩阵，$\mathbf{b}$ 是一个 $m$ 维向量。