买了本《百面机器学习》看着玩，虽然已经毕业了，机器学习还是放不下吧，希望以后新的机会出现能够及时抓住。书中第一章「特征工程」的“01 特征归一化”（第002-003页）提到：

对数值类型的特征做归一化可以将所有的特征都统一到一个大致相同的数值区间内。最常用的方法主要有以下两种。

1. 线性函数归一化（Min-Max Scaling）。它对原始数据进行线性变换，使结果映射到$[0,1]$的范围，实现对原始数据的等比缩放。归一化公式如下：

$$X_{\text{norm}}=\frac{X-X_{\text{min}}}{X_{\text{max}}-X_{\text{min}}}$$

其中，$X$为原始数据，$X_{max}$、$X_{min}$分别为数据最大值和最小值。

2. 零均值归一化（Z-Score Normalization）。它会将原始数据映射到均值为0、标准差为1的分布上。具体来说，假设原始特征的均值为μ、标准差为σ，那么归一化公式定义为：

$$z=\frac{x-\mu }{\sigma }$$

我平时使用的全是线性函数归一化……因为比较简单也好理解。零均值归一化看到过，但是不知道该用在哪里，接下来仔细地分析一下相关的内容，以及感兴趣的数学知识。

为什么需要对数值类型的特征做归一化？

这是《百面》提出的问题。官方解答是通过一个形象的随机梯度下降例子：

假设有两种数值型特征，$x_1$的取值范围为$[0,10]$，$x_2$的取值范围为$[0,3]$，于是可以构造一个目标函数符合图1.1(a)中的等值图。在学习速率相同的情况下，$x_1$的更新速度会大于$x_2$，需要较多的迭代才能找到最优解。如果将$x_1$和$x_2$归一化到相同的数值区间后，优化目标的等值图会变成图1.1(b)中的圆形，$x_1$和$x_2$的更新速度变得更为一致，容易更快地通过梯度下降找到最优解。

用人话来讲就是，归一化使得特征的变化更容易用统一标准去衡量了。

这个例子其实来源于斯坦福机器学习公开课的一节，课题是我们想要去预测房价，假设存在这样一个函数：

$$y={\theta }_1{x}_1+{\theta }_2{x}_2$$

注意这里的$x_1$是真实的变量，而《百面》中提到的$x_1$是这里的参数${\theta }_1$（估计是为了避嫌更换了名称），把$\theta$称作参数更符合思维习惯。

这个函数里的$y$是预测房价，$x_1$是房间大小（1~100平方米），$x_2$是房间数量（1~4间）。我们都知道房间越多、房间越大，房子越值钱，但不知道具体“50平方米2间房”和“60平方米1间房”哪个更值钱。所以现在有一批[房间大小, 房间数量, 房价]的训练数据，我们用这批数据去求得使得大部分数据都符合这个公式的参数${\theta }_1$、${\theta }_2$，不就得到房价预测模型了吗？以后输入房间大小、房间数量，代入公式，就得到了预测房价。那么“大部分都符合”这个标准用数学量化出来就是损失函数最小。命题转变为了求解使得损失函数最小的参数${\theta }_1$、${\theta }_2$。

损失函数很容易定义为预测房价和真实房价差值的平方（为了取正数）：

$$J({\theta }_1,{\theta }_2)={({\theta }_1{x}_1+{\theta }_2{x}_2-y_{real})}^2$$

损失函数值越小，说明预测房价和真实房价的差距越小，预测越精准。

可以想象的是，当没有归一化的时候，$x_1=50$，$x_2=2$，$y_{real}=100$，我们可以取$1\ast 50+25\ast 2-100$，也可以取$0.2\ast 50+45\ast 2-100$，他们的值都是$0$，然而${\theta }_1$的取值范围波动会小一些，${\theta }_2$的取值范围波动巨大，如果画出等值线，就会是${\theta }_1$进行缓慢地变化、${\theta }_2$剧烈变化的椭圆；当归一化之后，$x1=0.5$，$x2=0.5$，$yreal=1$，那么取值$1\ast 0.5+1\ast 0.5-1$，或者$0\ast 0.5+2\ast 0.5-1$，会发现参数变化更加均匀一些了，等值线（等高线）也就越趋近于圆。

所以，用原始的量纲不同、取值范围差异较大的两个特征，去进行梯度下降寻找最优解，未归一化的话这个圆会变得很尖，归一化了圆就会更圆，但程序不知道啊，它会通过梯度下降去迭代，未归一化的数据更容易产生“之”字型走法来迭代寻找最优解，归一化的数据更容易走直线快速找到最优解。

但这只是讲了归一化的好处——提升模型收敛速度，并没有讲不归一化会发生什么。不归一化的最大坏处在于——数值小的特征变化失去意义，举个例子（我以前就干过这样的事……）：

我们已知平面上有很多点$(x,y)$，现在取一个点$(x_0,y_0)=(0,0)$，找出和它最近的2个点。$x$的取值范围是$[-1,1]$，y的取值范围是$[-1000,1000]$

(0.1,100)
(0.2,300)
(0.2,100)
(0.3,300)

我们会发现，当计算距离的时候，$y$的取值很大程度地影响了距离的值，$y$稍微一变化，距离就变化很大。$x$重要吗？根本不重要！完全和已知在纵轴上，$y_0=0$，寻找最近的2个点的命题几乎一样：

y1=100
y2=300
y3=100
y4=300

最近的仍然是$y_1$、$y_3$，哪怕你有一个$(x_5,y_5)=(1,300)$，$x$变化再剧烈，最近邻也轮不到你。效果就是，$x$这个特征似乎消失了。

所以，归一化在维数非常多的时候，可以防止某一维或某几维对数据影响过大。

归一化和标准化的取舍

虽然可以统称为归一化，但是我更愿意称线性函数归一化（Min-Max Scaling）为极大极小归一化（Min-Max Normalization），称零均值归一化（Z-Score Normalization）为零均值标准化（Z-Score Standardization）。

因为极大极小归一化的方法是，根据极值，将所有内部值压缩到$[0,1]$区间；而零均值标准化做的是，根据所有数值，将分布转为标准正态分布，均值为0，方差为1，取值$[-1,1]$。在实际使用过程中深有体会，当用极大极小归一化时，如果不是已经知道极值（比如0~255），一旦有新的数据（比如Haar特征）加入，根据固定的极值（当前数据最大最小值）去压缩，就可能产生超过1或者小于0的特征值，但是在处理上会方便许多；采用零均值标准化的话，由于可能取到负值，而且新进来的数据依然可能越界，其实都不好使……

那么，应该如何取舍归一化和标准化呢？

1. 如果对输出结果有要求，或者数据比较稳定，用归一化。

2. 如果存在一些异常值和噪音，数据符合正态分布，用标准化。

3. 如果涉及距离度量计算相似性（比如KNN、Kmeans聚类）、或者PCA，用标准化。

前面两个都好理解，数据稳定，用极值方便；有异常或噪音，用标准化保证整体数值分布。我们来仔细分析一下第三点，首先推导零均值标准化原理。

正态分布的期望从定义开始推导

正态分布也叫高斯分布，期望有很多种推导方式，比如极坐标这种很秀的推导方法，我们只记最简单的Γ函数推导就好了。

1) 推导$E(x)$到合适的地方

已知一般正态分布：

$$X\sim \mathcal{N}(\mu ,{\sigma }^2)$$

其概率密度函数为：

$$f(x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}$$

根据期望的定义有：

$$\begin{array}{rl}E(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx\\ & ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}x\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\end{array}$$

换元积分，令：

$$z=\frac{x-\mu }{\sigma },x=\sigma z+\mu$$

则$E(x)$可以改写为：

$$\begin{array}{rl}E(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(\sigma z+\mu )\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{z^2}{2}}d(\sigma z+\mu )\\ & ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(\sigma z+\mu )\frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}dz\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(\sigma z+\mu )e^{-\frac{z^2}{2}}dz\\ & =\frac{\sigma }{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}z{e}^{-\frac{z^2}{2}}dz+\frac{\mu }{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{-\frac{z^2}{2}}dz\end{array}$$

左式为奇函数在对称区间的积分，积分为0，而右边是偶函数在对称区间的积分，积分为2倍半区间积分，于是：

$$E(X)=0+\frac{2\mu }{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}{e}^{-\frac{z^2}{2}}dz$$

2) 推导$\Gamma$函数的特性

注意到含参变量的以无穷乘积函数定义的反常积分$\Gamma$函数定义为：

$$\mathrm{\Gamma }(s)={\int }_0^{+\mathrm{\infty }}{x}^{s-1}{e}^{-x}dx,s>0$$

用分部积分法（其公式不再继续往下证明）有：

$$\begin{array}{rl}\int u(x)v^{\prime }(x)dx& =u(x)v(x)-\int u^{\prime }(x)v(x)dx\\ {\int }_0^A{x}^s{e}^{-x}dx& =-x^s{e}^{-x}{|}_0^A+s{\int }_0^A{x}^{s-1}{e}^{-x}dx\\ & =-A^s{e}^{-A}+s{\int }_0^A{x}^{s-1}{e}^{-x}dx\end{array}$$

那么，令：

$$A\to +\mathrm{\infty }$$

得到$\Gamma$函数的递推公式及其推论：

$$\begin{array}{rl}\mathrm{\Gamma }(s+1)& =s\mathrm{\Gamma }(s)\\ \mathrm{\Gamma }(1)& =1\\ \mathrm{\Gamma }\left(\frac{1}{2}\right)& =\sqrt{\pi }\end{array}$$

3) 利用$\Gamma$函数的特性

所以，对$E(X)$再次换元：

$$\begin{array}{rl}t& =\frac{z^2}{2}\\ z^2& =2t\\ z& =\sqrt{2t}\\ dz& =\frac{\sqrt{2}}{2\sqrt{t}}dt\end{array}$$

有：

$$\begin{array}{rl}E(X)& =0+\frac{2\mu }{\sqrt{2\pi }}{\int }_0^{+\mathrm{\infty }}{e}^{-t}\frac{\sqrt{2}}{2\sqrt{t}}dt\\ & =\frac{\mu }{\sqrt{\pi }}{\int }_0^{+\mathrm{\infty }}{t}^{-\frac{1}{2}}{e}^{-t}dt\\ & =\frac{\mu }{\sqrt{\pi }}{\int }_0^{+\mathrm{\infty }}{t}^{\frac{1}{2}-1}{e}^{-t}dt\\ & =\frac{\mu }{\sqrt{\pi }}\mathrm{\Gamma }\left(\frac{1}{2}\right)\\ & =\mu \end{array}$$

正态分布的方差从定义开始推导

1) 推导$D(x)$到合适的地方

$$\begin{array}{rl}D(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-\mu {)}^{2}f(x)dx\\ & ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(x-\mu {)}^2\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\end{array}$$

同样地，进行换元，令：

$$z=\frac{x-\mu }{\sigma },x=\sigma z+\mu$$

利用分部积分法，有：

$$\begin{array}{rl}D(X)& ={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{\sigma }^2{z}^2\frac{1}{\sqrt{2\pi }}{e}^{-\frac{z^2}{2}}dz\\ & =\frac{{\sigma }^2}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{z}^2{e}^{-\frac{z^2}{2}}dz\\ & =\frac{{\sigma }^2}{\sqrt{2\pi }}{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}z\cdot \left(z{e}^{-\frac{z^2}{2}}\right)dz\\ & =\frac{{\sigma }^2}{\sqrt{2\pi }}({z\cdot (-e^{-\frac{z^2}{2}})|}_{-\mathrm{\infty }}^{+\mathrm{\infty }}-{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}(-e^{-\frac{z^2}{2}})dz)\\ & =\frac{{\sigma }^2}{\sqrt{2\pi }}({-z{e}^{-\frac{z^2}{2}}|}_{-\mathrm{\infty }}^{+\mathrm{\infty }}+{\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}{e}^{-\frac{z^2}{2}}dz)\end{array}$$

注意这里分部积分法的使用，是拆开了前面的平方，组合后面的。而且没有用网上所谓的“注意到”：

$${(-z{e}^{-\frac{z^2}{2}})}^{\prime }=-z{e}^{-\frac{z^2}{2}}+z^2{e}^{-\frac{z^2}{2}}$$

虽然和分部积分法原理一样，但是除非非常熟练，看到这个积分就能想到这个导数，否则以我的视角根本不可能去“注意到”。还是分部积分法靠谱一些。

2) 利用$\Gamma$函数特性

采用的推导方案

$$\begin{array}{rl}D(X)& =\frac{{\sigma }^2}{\sqrt{2\pi }}(0+2\cdot \frac{\sqrt{2}}{2}\cdot \sqrt{\pi })\\ & =\frac{{\sigma }^2}{\sqrt{2\pi }}\cdot \sqrt{2\pi }\\ & ={\sigma }^2\end{array}$$

方案2: 利用方差和期望的关系

第二种推导方案是利用：

$$D(X)=E(X^2)-E(X{)}^2$$

来进行推导。

方案3: 利用洛必达

第三种推导方案是，不使用奇函数特性，使用洛必达法则推导；不使用$\Gamma$函数特性，使用双重积分+极坐标推导。

方案4: 利用$\Gamma$函数特性

第四种推导方案是，不使用分部积分法，使用一种新奇的换元方法+$\Gamma$函数特性：

$$t=z^2$$

这里不再赘述。

为什么零均值标准化能使得均值为0方差为1

即需要证明：若$X\sim \mathcal{N}(\mu ,\sigma )$，则$Z=(X-\mu /\sigma )\sim \mathcal{N}(0,1)$

我们知道，分布函数$F(x)$、概率密度$f(x)$存在这样的关系：

$$\begin{array}{rl}F(x)& =P(X\le x)={\int }_{-\mathrm{\infty }}^{x}f(x)dx,-\mathrm{\infty }<x<+\mathrm{\infty }\\ F^{\prime }(x)& =f(x)\end{array}$$

那么：

$$\begin{array}{rl}{F}_Z(z)& =P(Z<z)\\ & =P(\frac{X-\mu }{\sigma }<z)\\ & =P(X<\sigma z+\mu )\\ & ={\int }_{-\mathrm{\infty }}^{\sigma z+\mu }\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}}dx\\ & \stackrel{\text{令 }x=\sigma v+\mu }{=}{\int }_{-\mathrm{\infty }}^z\frac{1}{\sigma \sqrt{2\pi }}{e}^{-\frac{(\sigma v+\mu -\mu {)}^2}{2{\sigma }^2}}\sigma dv\\ & ={\int }_{-\mathrm{\infty }}^z\frac{1}{\sqrt{2\pi }}{e}^{-\frac{v^2}{2}}dv\end{array}$$

所以，$Z=(X-\mu /\sigma )\sim \mathcal{N}(0,1)$

为什么零均值标准化适合于距离度量、PCA

PCA原理不再介绍，我们知道PCA的核心就是方差与协方差。原始特征样本协方差为（N-1是无偏估计，'表示区分不是表示导数）：

$${\sigma }_{xy}=\frac{1}{N-1}\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})$$

那么，使用零均值标准化：

$$\begin{array}{rl}{x}^{\prime }& =\frac{x-\overline{x}}{{\sigma }_x},{\overline{x}}^{\prime }=0\\ y^{\prime }& =\frac{y-\overline{y}}{{\sigma }_y},{\overline{y}}^{\prime }=0\end{array}$$$$\begin{array}{rl}{\sigma }_{xy}^{\prime }& =\frac{1}{N-1}\sum _{i=1}^N(x_i^{\prime }-{\overline{x}}^{\prime })(y_i^{\prime }-{\overline{x}}^{\prime })\\ & =\frac{1}{N-1}\sum _{i=1}^N(x_i^{\prime }-0)(y_i^{\prime }-0)\\ & =\frac{1}{N-1}\sum _{i=1}^N\left(\frac{x_i-\overline{x}}{{\sigma }_x}\right)\left(\frac{y_i-\overline{y}}{{\sigma }_y}\right)\\ & =\frac{1}{(N-1){\sigma }_x{\sigma }_y}\sum _{i=1}^N(x_i-\overline{x})(y_i-\overline{y})\\ & =\frac{{\sigma }_{xy}}{{\sigma }_x{\sigma }_y}\end{array}$$

而使用极大极小归一化：

$$\begin{array}{rl}{x}^{″}& =c_{x}x+m_x\\ y^{″}& =c_{y}y+m_y\end{array}$$$$\begin{array}{rl}{\sigma }_{xy}^{″}& =\frac{1}{N-1}\sum _{i=1}^N(x_i^{″}-\overline{x_i^{″}})(y_i^{″}-\overline{x_i^{″}})\\ & =\frac{1}{N-1}\sum _{i=1}^N(c_x{x}_i-c_x\overline{x_i})(c_y{y}_i-c_y\overline{y_i})\\ & =c_x{c}_y{\sigma }_{xy}\end{array}$$

极大极小归一化使得协方差产生了倍数值缩放，无法消除量纲的影响；而零均值标准化对方差进行了归一化，使得量纲不会对协方差的计算产生任何影响。

所以，如果需要每个特征值都对整体归一化产生一定影响的话（和分布相关的话），选择零均值归一化。

特征归一化的使用范围

《百面》上说：

在实际应用中，通过梯度下降法求解的模型通常是需要归一化的，包括线性回归、逻辑回归、支持向量机、神经网络等模型。但对于决策树模型则并不适用，以C4.5决策树为例，决策树在进行节点分裂时主要依据数据集$D$关于特征$x$的信息增益比，而信息增益比跟特征是否进行归一化是无关的，因为归一化并不会改变样本在特征$x$上的信息增益。

但其实，看一下C4.5的信息增益比公式，样本集合$D$，类别数$N$，某类样本子集$C_i$，$D_i$中属于第n类的子集$D_{in}$，特征取值数$K$，$||$表示取元素个数，某特征$X$，其信息增益比为：

$$\begin{array}{rl}\text{GainRatio}(D,X)& =\frac{\text{Gain}(D,X)}{\text{Split}(D,X)}\\ & =\frac{H(D)-H(D|X)}{\text{Split}(D,X)}\\ & =\frac{-\sum _{i=1}^N\frac{|C_i|}{|D|}lo{g}_2\left(\frac{|C_i|}{|D|}\right)-\sum _{i=1}^K\frac{|D_i|}{|D|}(-\sum _{i=1}^N\frac{|D_{in}|}{|D_i|}lo{g}_2\left(\frac{|D_{in}|}{|D_i|}\right))}{-\sum _{i=1}^K\frac{|D_i|}{|D|}lo{g}_2\left(\frac{|D_i|}{|D|}\right)}\end{array}$$

信息增益比相当于帮决策树进行了归一化。而且其实，决策树使用了归一化，也不会有太大的问题。

总结

除了极大极小归一化、零均值归一化，还有一些非线性的归一化，比如$lo{g}_{10}$、$lo{g}_2$、$tan$等。归一化的好处真的非常之大，是机器学习入门必备的概念。

这里通过一些数学推导把以前原理模糊的概念都理解透彻了，由于涉及到较多的数学，如有错误还望指正。