6 posts tagged with "机器学习"

在 布朗运动与朗之万方程 中已经介绍过随机过程，而高斯过程 (Gaussian process) 是一个特殊的随机过程。在高斯过程中，连续输入空间中每个点都是与一个正态分布的随机变量相关联 [^1]。

从单变量高斯分布说起。在 单变量高斯分布 中我们已经写出了单变量高斯分布的公式，在这里重复一遍。

概率图模型（Probabilistic Graphical Model， PGM），简称图模型（Graphical Model，GM），是指一种用图结构来描述多元随机变量之间条件独立性的概率模型，从而给研究高维空间的概率模型带来了很大的便捷性。

为什么讲条件独立性呢？

对于一个 $K$ 维随机向量，其联合概率为高维空间中的分布，一般难以直接建模。假设有

为离散随机变量并且有 $m$ 个取值，在不作任何假设的情况下，则需要 $m^K-1$ 个参数才能表示其概率分布。参数是指数级的，我们在多元高斯分布中也反复说明过 高维问题，贝叶斯分类器条件假设。

L1 与 L2 的比较是一个老生常谈的问题

本文章想要回答下面这个问题

L1- 正则化更稀疏​

为了探究 $L_{1}$ 和 $L_{2}$ 正则化效果，设计了一个蒙特卡洛实验。

概述​

先来从损失函数的角度引入，机器学习训练的过程，就是要找到一个足够好的函数 $F^*$ 用以在新的数据上进行推理。而为了定义这个好，我们引入了损失函数的概念。一般的，对于样本 $(\vec{x}, y)$ 和模型 $F$，有预测值 $\hat{y}=F(\vec{x})$。而损失函数是定义在 $\mathbb{R}\times \mathbb{R}\to \mathbb{R}$ 上的二元函数 $\ell(y, \hat{y})$，用来描述 $\mathrm{Ground \ Truth}$ 和预测值之间的差距。一般来说，损失函数是一个有下确界的函数；当预测值和 $\mathrm{Ground \ Truth}$ 足够接近，损失函数的值也会接经该下确界。

偏差 (Bias)​

其中，$E[\cdot]$ 表示期望，$f(x)$ 是真实值，$\hat{f}(x)$ 是模型对给定输入 $x$ 的预测

数学概念​

凸集​