2 posts tagged with "正则化"

L1 与 L2 的比较是一个老生常谈的问题

本文章想要回答下面这个问题

L1- 正则化更稀疏​

为了探究 $L_{1}$ 和 $L_{2}$ 正则化效果，设计了一个蒙特卡洛实验。

概述​

先来从损失函数的角度引入，机器学习训练的过程，就是要找到一个足够好的函数 $F^*$ 用以在新的数据上进行推理。而为了定义这个好，我们引入了损失函数的概念。一般的，对于样本 $(\vec{x}, y)$ 和模型 $F$，有预测值 $\hat{y}=F(\vec{x})$。而损失函数是定义在 $\mathbb{R}\times \mathbb{R}\to \mathbb{R}$ 上的二元函数 $\ell(y, \hat{y})$，用来描述 $\mathrm{Ground \ Truth}$ 和预测值之间的差距。一般来说，损失函数是一个有下确界的函数；当预测值和 $\mathrm{Ground \ Truth}$ 足够接近，损失函数的值也会接经该下确界。